[캐글] 캐글이란

캐글 = 머신러닝 경진대회 플랫폼

 

최근에 데이터 사이언스 분야로 커리어를 변경 하시려는 분 들이나 이미 ML, DL 엔지니어로 현업에 계시는 분들까지

캐글에 대해서 한번 쯤은 들어보셨거나 익숙하실 것이라고 생각합니다.

 

이 포스트는 캐글의 유래와 특징에 대하여 설명하는 포스트입니다. 이미 익숙하신 분들은 재미로 읽어주시면 좋을 것 같습니다.

 

캐글은 2010년 4월에 설립된 공공 및 기업 데이터를 활용하여 문제를 해결하는 머신러닝 경진대회 플랫폼입니다. 주로 캐글에서는 데이터 분석을 하는 task가 메인인데 주로 머신러닝, 딥러닝 방법론들을 사용하여 문제를 해결합니다. 많은 분들이 데이터 사이언스 분야에 처음 입문하실 때 접하는 것이 캐글의 "타이타닉 생존자 예측" 경진대회로 연습을 하십니다. 

 

 

Kaggle Ranking Leader board

 

캐글에서 주어지는 문제들은 주로 기업이나 단체가 해결하고 싶은 문제가 등록이 됩니다. 그리고 문제를 풀려고 참여한 많은 데이터 과학자, 데이터 분석가, 통계학자, 머신러닝 엔지니어 등등 많은 개개인들이 경쟁하며 가장 높은 점수를 내는 구조입니다. 점수가 높거나 우수 사례, 해결책을 제시하게 되면 상금이 주어지게 되고 개인의 이력서에도 한칸 채워질 포트폴리오가 되기도 합니다. 그로 인해서 취업을 할때 캐글 경진대회에서 문제를 해결하는데 leader board 상위권 안에 들거나 우승을 하면 취업에 가산점이 때로 붙기도 합니다. 

 

기업들은 우승자의 코드와 분석 기법에서 인사이트를 얻을 수 있으며, 개인들은 평소에 접하기 힘든 데이터들을 직접 다루거나, 이미 끝난 대회에서 다른 사람들이 올려놓은 코드를 기반으로 학습이 가능합니다. 

 

그리고 신기하게도 캐글에 관련된 논문이 있길래 읽어보았는데, 저자가 강화학습 분야에서 유명하신 Richard Sutton 교수님(?)이 아니라 독일 유명 연구소인 막스 플랑크 연구소 Christopher Sutton 연구원이 쓴 논문이였습니다. (Sutton이라는 last name만 보고 왜 이렇게 인용수가 낮지 라는 생각을 했습니다...)

 

"Crowd-sourcing materials-science challenges with the NOMAD 2018 Kaggle competition."이라는 Sutton 연구원님이 쓰신 논문에서 Novel Materials Discovery (NOMAD) 2018 캐글 대회를 통하여 인력들을 크라우드 소싱하였고, 문제를 해결하는데 있어서 캐글을 사용하고 많은 방법론들과 해결책을 얻은 것으로 확인됩니다.

 

 

긴 글 읽어주셔서 감사합니다.

---

 

References

 

[1] Jung, K., (2018). Kaggle 우승작으로 배우는 머신러닝 탐구생활.

 

[2] Sutton, C., Ghiringhelli, L. M., Yamamoto, T., Lysogorskiy, Y., Blumenthal, L., Hammerschmidt, T., ... & Scheffler, M. (2019). Crowd-sourcing materials-science challenges with the NOMAD 2018 Kaggle competition. npj Computational Materials, 5(1), 1-11.