[데이터 사이언스]"Ablation study"란 무엇인가?

데이터 사이언스에 관련을 가지게 되면서 머신러닝, 딥러닝에 관한 연구, 논문과 수업들에서는 이해가 안가는 단어들이 한,두가지 아니였습니다. 그래서 항상 공부를 하며 모르는 단어의 어원과 유래를 먼저 검색하고, 그 의미를 추론을 하는 과정을 계속 반복하였습니다. 물론 그 다음에 단어의 의미를 깨닫고도 원리가 이해가 가지 않았을 때는 논문이나 다른 엔지니어 및 연구자 분들의 자료를 공부를 하는 방법으로 위와 같은 문제점을 해결해 나갔습니다.

 

그러면 이 포스트인 핵심인 Ablation study에 대해서 오늘 이야기 해보려고 합니다. 제가 Ablation study라는 단어를 제일 처음 접한 것은 대학교에서 진행하는 데이터 분석 수업이었습니다. 교수님께서 수업에서 쓰는 다른 단어들 예를 들면 causualization(인과관계, 사실 처음에 영어로 들어서 이해가 안갔습니다..), 그리고 mulitmodal learning, transfer learning 등등 셀수 없이 처음 접한 단어들이 많습니다. 

 

그 중에서 Ablation study라는 단어를 수업에서 많이 강조를 하셨습니다. 처음에 제가 받아들인 Ablation study는 어원, 의미 그대로 제거 혹은 무언가 소모, 제거(?)라는 뜻을 보고 축소와 관련된 용어인가?라고 착각을 했습니다.

 

---

 

오늘은 제가 예전에 착각 후에 다시 이해한 Ablation study의 의미에 설명을 해보겠습니다.

 

Ablation Study 사진 [1] 출처: Quora

먼저 Ablation study에 대한 자료 사진들을 위에 첨부하였습니다.  

 

"An ablation study typically refers to removing some "feature" of the model of algorithm, and seeing how that affects performance".

 

위 사진의 Quora에서 인용한 글을 직역하면 보통 모델이나 알고리즘의 “feature”들을 제거해 나가면서 그 행위가 성능에 얼마나 영향을 미치는지를 확인해보는 것을 의미합니다.

 

 

Quora는 open된 인터넷 community이기에 학술적으로 공신력이 있지 않으며, 잘못되거나 편향된 정보를 제공할 수도 있다고 판단되어 Google의 엔지니어이자 케라스의 창시자인 프랑수아 숄레가 정의하는 Ablation Study에 대하여도 사진을 위에 첨부하였습니다.

 

핵심만 말씀드리자면 Ablation Study는 딥러닝 연구를 하는데 있어서 매우 중요하다고 합니다. 왜냐하면 인과관계를 이해하는 것은 신뢰성있는 지식(연구의 목표)을 만들어내기 때문입니다. 그리고 여기서 ablation은 인과관계를 찾는데 있어서 효율적인 방법이기 때문입니다.

 

좀 더 직관적으로 말씀드리면 제안한 요소가 모델에 어떠한 영향을 미치는지 확인하고 싶을 때, 이 요소를 포함한 모델과 포함하지 않은 모델을 비교하는 것을 말한다. 이는 딥러닝 연구에서 매우 중요한 의미를 지니는데, 시스템의 인과관계(causality)를 간단히 알아볼 수 있기 때문이다. 

출처: https://sangminwoo.github.io/glossary/atod

 

위의 사진은 "Ablation Studies in Artificial Neural Networks" 논문의 초록 사진입니다. 이 논문을 읽으면서 Ablation Study는 모델들간의 성능을 비교하는데 사용한다는 insight도 얻었습니다. feature를 제거한 모델들끼리의 성능 비교를 통하여 모델이 강건한지 우수한지 찾을 수 있다는 생각이 들었습니다.

 

 

나름 열심히 Ablation study에 대한 연구와 자료들을 찾아보았는데 앞으로 머신러닝, 딥러닝에 처음 입문하시는 분들께 도움이 되며, 제가 시행착오를 통해 얻은 지식들을 공유하려고 합니다. 

 

 

긴 글 읽어주셔서 감사합니다.

---

References

 

[1] Uesato, Jonathan. “In the Context of Deep Learning, What Is an Ablation Study?” Quora, 2017, www.quora.com/In-the-context-of-deep-learning-what-is-an-ablation-study.

 

[2] Meyes, Richard, et al. "Ablation studies in artificial neural networks." arXiv preprint arXiv:1901.08644 (2019).

 

[3] Chollet, François. “Ablation Studies Are Crucial for Deep Learning Research -- Can't Stress This Enough.Understanding Causality in Your System Is the Most Straightforward Way to Generate Reliable Knowledge (the Goal of Any Research). And Ablation Is a Very Low-Effort Way to Look into Causality.” Twitter, Twitter, 29 June 2018, twitter.com/fchollet/status/1012721582148550662.

 

[4] Sheikholeslami, Sina. "Ablation Programming for Machine Learning." (2019).