Fintecuriosity

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. ※ 심리언어학적 관점과는 별도로 통계학적 접근방식은 엔지니어링 관점에서도 그 동기를 찾을 수 있습니다. 언어이론에 대한 통계학적 확장은 자연어 처리(Natural Language Processing, NLP) 분야에서도 많은 환영을 받았습니다. 오로지 문법 규칙에만 근거한 방법들이 과다생성(overgeneration: 한 문장에 대해 너무 많은 분석이 생성된 경우) 및 생성미달(undergeneration: 한 문장에 대해 어떤 분석도 생성되지 않..

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. ※ 오랫동안 계속된 심리학적 연구를 살펴보겠습니다. (1) 사람들이 빈도 및 빈도의 차이를 등록 (2) 새롭게 구축해야 하는 분석보다는 이전에 경험했던 분석을 선호 (3) 이러한 선호도는 빈번히 발생되었던 분석이 그렇지 못한 분석보다 선호된다는 점 즉, 분석의 발생빈도에 의해 영향을 받는다는 사실을 나타내주고 있습니다. 위의 명제들은 언어수행 모델에 대한 빈도 기반의 접근 방식에 중요한 동기를 부여합니다. 확률론은 발생빈도의 개념을 일관된 수학적 ..

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 언어수행의 문제 중 하나인 중의성 해소(disambiguation)를 통해 이러한 이분법의 의미를 살펴볼 수 있습니다. 언어능력문법이 상당한 규모의 자연어를 다룰 수 있는 수준으로 확대되면, 곧 많은 문장들이 엄청나게 많은 구문분석을 문법에 의해 할당받게 됩니다. 하지만 인간언어의 사용자들은 이러한 분석들 중 한,두 개 정도만 인식을 하게 됩니다. 자연어 문장에 대한 구문분석 (그리고 그에 상응하는 의미해석)의 폭발적인 결합가능성은 언어이론에서는 ..

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 현대 언어이론의 가장 근본적인 개념 중 하나는 언어능력 & 언어수행 (competence-performance) 이분법입니다. 언어능력 모델은 개인의 언어지식의 기술을 목표로 하는 반면 언어수행 모델은 구체적 상황 속에서 이루어지는 자연어 문장의 실제적 생성과 인식을 기술함을 목표로 삼고 있습니다(Chomsky 1965). 이러한 이분법은 모든 형식적 언어이론의 방법론적인 패러다임이 되어왔으며, 언어학의 일차적인 목표는 언어능력(competence..

이번 글의 내용은 고려대학교 컴퓨터공학과 이상근 교수님의 "뉴럴 모델을 이용한 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. NLP 분야에서는 오래 전부터 컴퓨터에 인간의 언어를 이해시키는 방법을 연구했습니다. 인간의 언어를 자연스럽게 이해할 수 있는 컴퓨터가 있다면 인간이 할 수 있는 수많은 일을 컴퓨터가 수행할 수 있을 것이라고 판단하였습니다. 가장 쉬운 방법으로, "인간의 언어 사전을 그대로 컴퓨터에 넣어서 활용해 보자!"는 아이디어를 떠올릴 수 있습니다. 학자들은 이 아이디어를 조금 더 발전시켜서, 인간의 단어 중 동의어와 유의어의 관계, 상/하위 ..

이번 글의 내용은 Mario Klingemann의 트위터 포스트를 번역 및 정리, 그리고 고려대학교 산업경영공학과 강필성 교수님의 강의를 참조하였음을 먼저 밝힙니다. (다른 참조한 논문은 아래에 기재되어 있습니다.) 이번 학기에 자연어 처리 관련 수업을 수강하면서 이론과 SOTA 모델들을 접할 수 있었습니다. 그 중에서 저의 관심을 끌었던 SOTA 모델은 Open AI에서 공개한 GPT-2 모델이였습니다. 간략하게 GPT-2 모델에 대해서 설명하면 기본적으로 ngram과 같은 언어모델입니다. 앞의 단어들이 주어지면 그 다음에 나올 단어를 예측합니다. 또한 GPT-2는 15억개 파라미터를 가진 대규모 번역기반 언어모델로, 800만개 텍스트의 데이터셋을 통해 학습하였습니다. 임의의 문장을 입력하면 맥락을 고..

이번 글의 내용 중 일부는 고려대학교 세종캠퍼스 글로벌학부 영미학과 김형엽 교수님의 "뇌의 이해와 언어학습"과 위키피디아의 내용 일부를 정리 및 참조하였음을 먼저 밝힙니다. 기본적으로 우리가 언어를 사용하여 상대방과 의사소통을 할 수 있는 이유는 뇌가 있기 때문입니다. 너무 추상적이고 단순하게 뇌가 있으니 언어를 사용할 수 있다라고 위에서 언급을 하였는데, 조금 더 자세하게 설명을 해보도록 하겠습니다. 인간의 뇌는 위의 그림과 같이 크게 대뇌, 소뇌, 뇌간의 3부분으로 구분을 할 수 있습니다. 그 중에서도 대뇌는 감각과 수의 운동을 담당하며, 더불어서 기억이나 판단 등 정신활동을 담당하고 있습니다. 대뇌의 바깥층은 뉴런의 신경세포체가 모여 회색을 띠고있어 회백질이라 불리며, 안쪽 층은 신경섬유가 모여 있..

이번 글의 내용 중 일부는 독일 뮌헨의 루드비히 막시밀리안 대학교 (Ludwig-Maximilians-Universität München) 영어 언어학과 Hans-Jörg Schmid 교수님의 "Linguistic Theories, Approaches, and Methods" 논문의 내용 일부를 정리 및 참조하였음을 먼저 밝힙니다. 그럼 시작 해보도록 하겠습니다. According to the sociologist Kurt Lewin (1952: 169), “there is nothing more practical than a good theory”. In stark contrast to the common perception of beginners and even advanced students tha..

이번 글의 내용 중 일부는 서울대학교 언어학과 남승호 교수님의 "언어와 인간" 강의 내용 일부를 정리 및 참조하였음을 먼저 밝힙니다. 그럼 시작 해보도록 하겠습니다. 언어는 인간들에게 있어서 "고유의 의사소통 수단"이자 "주요한 부분"을 차지하고 있습니다. 세계 곳곳에서는 다양한 언어들을 통하여 서로 의사소통을 하며 고유의 문화를 형성하고 있습니다. 그러면 과연 이 지구 상에서는 몇 가지 언어가 존재할까요? [자료 및 사진 출처] https://www.ethnologue.com/guides/how-many-languages 지구 상에는 약 7117개의 언어가 존재하며 쓰이고 있습니다. (참고로 저도 구글에서 참조한 내용이라 틀릴 수도 있으니 정확한 답을 아시는 분이 있으시면 답글에 출처와 수정사항을 남겨..

이번 글의 내용 중 일부는 서울대학교 국어국문학과 임홍빈 교수님의 "학교 문법, 표준 문법, 규범 문법의 개념과 정의" 글을 정리 및 참조하였음을 먼저 밝힙니다. 그럼 시작 해보도록 하겠습니다. 먼저 규범문법에 대한 사전적 정의를 바탕으로 심화된 내용으로 포스트가 전개를 하려고 합니다. 언어생활에 있어 규칙을 설정하고 그것을 지키도록 명령하는 문법. 일정한 기준에 따라서 옳고 그름을 규율하기 때문에 비난되기도 하나 청소년이나 외국인에게 국어를 가르치는 경우는 매우 유익하다. 그러나 실용성 때문에 실용 문법(實用文法)이라 하기도 하고, 학교 교육에 소용되므로 학교 문법(學校文法)이라고도 한다. 국어의 문법 연구가 국어 국문(國語國文)의 정리 운동과 결부되어 일어났으므로, 대부분의 국어 문법서는 이 범주에 ..