[확률 기반의 자연어 처리] 언어수행에서 중의성 해소

 

이번 글의 내용은 이강혁 교수님의 "문법을 넘어서, 확률 기반의 자연어 처리" 저서를 참조 하였음을 먼저 밝힙니다. (다른 참조한 논문과 자료들은 아래에 기재되어 있습니다.) 

 

혹시 제가 잘못 알고 있는 점이나 보완할 점 있다면 댓글로 알려주시면 감사하겠습니다. 

 

---

언어수행의 문제 중 하나인 중의성 해소(disambiguation)를 통해 이러한 이분법의 의미를 살펴볼 수 있습니다. 

 

언어능력문법이 상당한 규모의 자연어를 다룰 수 있는 수준으로 확대되면, 곧 많은 문장들이 엄청나게 많은 구문분석을 문법에 의해 할당받게 됩니다. 하지만 인간언어의 사용자들은 이러한 분석들 중 한,두 개 정도만 인식을 하게 됩니다. 자연어 문장에 대한 구문분석 (그리고 그에 상응하는 의미해석)의 폭발적인 결합가능성은 언어이론에서는 무시되어 왔지만, 심리언어학과 언어기술 분야에서는 진지하게 다루어졌던 문제입니다.

 

---

 

◎ Martin et al.(1983)은 자신들의 문법이 아래의 예제 문장들에 할당되는 구문분석의 수를 보여주고 있습니다.

 

List the sales of products in 1973                                                                                               3
List the sales of products produced in 1973                                                                                 10
List the sales of products in 1973 with the products in 1972                                                            28
List the sales of products produced in 1973 with the products produced in 1972                                 455 

 

전치사구와 관계절의 여러 다른 부착 가능성으로 인해 언어능력문법은 이러한 문장들에 대해 많은 구조를 그 가능성으로 가지게 됩니다. 그러나 영어화자는 이러한 복잡한 중의성(ambiguity)을 포착하지 못하며, 단지 몇 가지 분석만을 즉각적으로 인지하게 됩니다.

 

그러므로 자연어의 수행이론은 문장들이 지니게 되는 가능한 분석공간을 기술하는 것이 아니라 실제로 어떤 분석을 화자가 자연어 발화에 할당하는 가를 예측할 수 있어야 합니다. 그러나 수행이론은 다양한 실세계의 상황, 다양한 단어와 구문의 발생가능성과 그에 따른 의미 등과 관련된 비언어적 지식을 요구합니다.

 

 

 

긴 글 읽어주셔서 감사합니다.

---

References

 

[1] K. Lee. (2003). 문법을 넘어서, 확률 기반의 자연어 처리.