Fintecuriosity

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. ※ 심리언어학적 관점과는 별도로 통계학적 접근방식은 엔지니어링 관점에서도 그 동기를 찾을 수 있습니다. 언어이론에 대한 통계학적 확장은 자연어 처리(Natural Language Processing, NLP) 분야에서도 많은 환영을 받았습니다. 오로지 문법 규칙에만 근거한 방법들이 과다생성(overgeneration: 한 문장에 대해 너무 많은 분석이 생성된 경우) 및 생성미달(undergeneration: 한 문장에 대해 어떤 분석도 생성되지 않..

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. ※ 오랫동안 계속된 심리학적 연구를 살펴보겠습니다. (1) 사람들이 빈도 및 빈도의 차이를 등록 (2) 새롭게 구축해야 하는 분석보다는 이전에 경험했던 분석을 선호 (3) 이러한 선호도는 빈번히 발생되었던 분석이 그렇지 못한 분석보다 선호된다는 점 즉, 분석의 발생빈도에 의해 영향을 받는다는 사실을 나타내주고 있습니다. 위의 명제들은 언어수행 모델에 대한 빈도 기반의 접근 방식에 중요한 동기를 부여합니다. 확률론은 발생빈도의 개념을 일관된 수학적 ..

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 언어수행의 문제 중 하나인 중의성 해소(disambiguation)를 통해 이러한 이분법의 의미를 살펴볼 수 있습니다. 언어능력문법이 상당한 규모의 자연어를 다룰 수 있는 수준으로 확대되면, 곧 많은 문장들이 엄청나게 많은 구문분석을 문법에 의해 할당받게 됩니다. 하지만 인간언어의 사용자들은 이러한 분석들 중 한,두 개 정도만 인식을 하게 됩니다. 자연어 문장에 대한 구문분석 (그리고 그에 상응하는 의미해석)의 폭발적인 결합가능성은 언어이론에서는 ..

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 현대 언어이론의 가장 근본적인 개념 중 하나는 언어능력 & 언어수행 (competence-performance) 이분법입니다. 언어능력 모델은 개인의 언어지식의 기술을 목표로 하는 반면 언어수행 모델은 구체적 상황 속에서 이루어지는 자연어 문장의 실제적 생성과 인식을 기술함을 목표로 삼고 있습니다(Chomsky 1965). 이러한 이분법은 모든 형식적 언어이론의 방법론적인 패러다임이 되어왔으며, 언어학의 일차적인 목표는 언어능력(competence..