Fintecuriosity

A nice little cartoon explaining the scientific publication process. Publishing in computer science is a little different in that the majority of papers are published to conference proceedings and less frequently in journals (long paper are published in journals, but most papers are short conference submissions). Top conferences will typically accept 20% to 30% of submitted papers. So, many pape..

이번 글의 내용은 Mario Klingemann의 트위터 포스트를 번역 및 정리, 그리고 고려대학교 산업경영공학과 강필성 교수님의 강의를 참조하였음을 먼저 밝힙니다. (다른 참조한 논문은 아래에 기재되어 있습니다.) 이번 학기에 자연어 처리 관련 수업을 수강하면서 이론과 SOTA 모델들을 접할 수 있었습니다. 그 중에서 저의 관심을 끌었던 SOTA 모델은 Open AI에서 공개한 GPT-2 모델이였습니다. 간략하게 GPT-2 모델에 대해서 설명하면 기본적으로 ngram과 같은 언어모델입니다. 앞의 단어들이 주어지면 그 다음에 나올 단어를 예측합니다. 또한 GPT-2는 15억개 파라미터를 가진 대규모 번역기반 언어모델로, 800만개 텍스트의 데이터셋을 통해 학습하였습니다. 임의의 문장을 입력하면 맥락을 고..

여느 때와 다름없이 페이스북 타임라인을 빠르게 훑어보는 도중에 저의 눈길을 사로잡은 문구가 한개 있었습니다. 바로!! 제가 팔로우 하고 있는 뉴욕대학교(New York University)의 Yann LeCun 교수님의 글이 저의 눈길을 사로 잡았습니다. 일단 이 글의 핵심부터 말씀드리도록 하겠습니다. Yann LeCun 교수님이 이 글에서 제안하신 것은 바로 STEM (Science, Technology, Engineering, Mathematics) 분야를 STEMP(Science, Technology, Engineering, Mathematics, Philosophy)로 명명하자 였습니다. STEM이라는 단어가 생소하신 분들도 있을텐데 유럽이나 다른 서구 국가들은 제가 잘모르지만, 미국에서는 이공계..

이번 글의 내용 중 일부는 고려대학교 세종캠퍼스 글로벌학부 영미학과 김형엽 교수님의 "뇌의 이해와 언어학습"과 위키피디아의 내용 일부를 정리 및 참조하였음을 먼저 밝힙니다. 기본적으로 우리가 언어를 사용하여 상대방과 의사소통을 할 수 있는 이유는 뇌가 있기 때문입니다. 너무 추상적이고 단순하게 뇌가 있으니 언어를 사용할 수 있다라고 위에서 언급을 하였는데, 조금 더 자세하게 설명을 해보도록 하겠습니다. 인간의 뇌는 위의 그림과 같이 크게 대뇌, 소뇌, 뇌간의 3부분으로 구분을 할 수 있습니다. 그 중에서도 대뇌는 감각과 수의 운동을 담당하며, 더불어서 기억이나 판단 등 정신활동을 담당하고 있습니다. 대뇌의 바깥층은 뉴런의 신경세포체가 모여 회색을 띠고있어 회백질이라 불리며, 안쪽 층은 신경섬유가 모여 있..

이번 글의 내용 중 일부는 독일 뮌헨의 루드비히 막시밀리안 대학교 (Ludwig-Maximilians-Universität München) 영어 언어학과 Hans-Jörg Schmid 교수님의 "Linguistic Theories, Approaches, and Methods" 논문의 내용 일부를 정리 및 참조하였음을 먼저 밝힙니다. 그럼 시작 해보도록 하겠습니다. According to the sociologist Kurt Lewin (1952: 169), “there is nothing more practical than a good theory”. In stark contrast to the common perception of beginners and even advanced students tha..

이번 글의 내용 중 일부는 서울대학교 언어학과 남승호 교수님의 "언어와 인간" 강의 내용 일부를 정리 및 참조하였음을 먼저 밝힙니다. 그럼 시작 해보도록 하겠습니다. 언어는 인간들에게 있어서 "고유의 의사소통 수단"이자 "주요한 부분"을 차지하고 있습니다. 세계 곳곳에서는 다양한 언어들을 통하여 서로 의사소통을 하며 고유의 문화를 형성하고 있습니다. 그러면 과연 이 지구 상에서는 몇 가지 언어가 존재할까요? [자료 및 사진 출처] https://www.ethnologue.com/guides/how-many-languages 지구 상에는 약 7117개의 언어가 존재하며 쓰이고 있습니다. (참고로 저도 구글에서 참조한 내용이라 틀릴 수도 있으니 정확한 답을 아시는 분이 있으시면 답글에 출처와 수정사항을 남겨..

이번 글의 내용 중 일부는 서울대학교 국어국문학과 임홍빈 교수님의 "학교 문법, 표준 문법, 규범 문법의 개념과 정의" 글을 정리 및 참조하였음을 먼저 밝힙니다. 그럼 시작 해보도록 하겠습니다. 먼저 규범문법에 대한 사전적 정의를 바탕으로 심화된 내용으로 포스트가 전개를 하려고 합니다. 언어생활에 있어 규칙을 설정하고 그것을 지키도록 명령하는 문법. 일정한 기준에 따라서 옳고 그름을 규율하기 때문에 비난되기도 하나 청소년이나 외국인에게 국어를 가르치는 경우는 매우 유익하다. 그러나 실용성 때문에 실용 문법(實用文法)이라 하기도 하고, 학교 교육에 소용되므로 학교 문법(學校文法)이라고도 한다. 국어의 문법 연구가 국어 국문(國語國文)의 정리 운동과 결부되어 일어났으므로, 대부분의 국어 문법서는 이 범주에 ..

기술 문법은 우리가 어떻게 말해야 하는지 말해주지 않습니다. 기술 문법은 당신의 기본적인 언어적 지식을 설명을 합니다. 즉 기술 문법은 말하는 것, 이해하는 것, 소리, 단어, 문장 등등 우리가 사용하는 언어로부터 사용되는 것입니다. ※ 다음은 기술문법의 사전적 의미입니다. 기술문법은 언어를 있는 그대로 '기술하는'(describe) 문법을 말하고, 규정문법은 언어를 임의적으로 '규정/처방하는'(prescribe) 문법을 말한다. 기술문법의 목적은 사람들이 무의식적으로(unconsciously) 사용하는 규칙들을 발견하는데(discover rules) 있지만, 규정문법의 목적은 사람들이 의식적으로(consciously) 따라야 하는 규칙들을 만들어내는데(make up rules) 있다. ("영어 작문과 ..

◎ What is Grammar? 먼저 이번 포스트에서는 언어에서 "문법이 무엇인가?"에 대한 간략한 개요를 설명하도록 하겠습니다. " We use the term "grammar" with a systematic ambiguity. on the one hand, the term refers to the explicit theory constructed by the linguist and proposed as a description of the speaker's competence. On the other hand, it refers to this competence itself. by N.Chomsky & M.Halle, The Sound Pattern of English 위의 인용구는 Noam Ch..

◎ Lingustic Knowledge and Performance 화자가 가지고 있는 언어학적 지식은 그들로 하여금 문장과 구를 결합하거나, 명사에 수식어를 더하여 문장을 더욱 길게 만들수 있도록 기여를 합니다. 당신이 3개, 5개, 혹은 18개의 형용사를 붙일 수도 있기 때문에 형용사의 개수에는 제한이 없다. 이론상으로는 매우 긴 문장들도 가능하지만, 그러나 그렇게 쓰이지 않기 때문이다. 분명히 문장을 형성하는데 있어서 요구되는 언어적 지식을 가지고 있는 것과 이러한 지식을 활용하는 것 사이에는 차이가 있다. 이는 '언어 능력(language competence)'과 '언어 수행(language performance)' 간의 차이라고 말할 수 있다. 언어 능력은 '당신이 알고 있는 것'이라고 말할 수..