Construction Grammar and Language Models

要約

深層学習と自然言語処理の最近の進歩により、主にクローゼのようなタスクでトレーニングされた強力なモデルが誕生し、構造的な知識を含む実質的な言語情報にアクセスできる証拠が示されています。
この画期的な発見は、計算手法と構築文法の研究との相乗関係に刺激的な機会をもたらします。
この章では、計算手法と構築文法の間の相互作用に対する 3 つの異なるアプローチを検討します: (i) テキスト分析のための計算手法、(ii) 計算構築文法、および (iii) 深層学習モデル。特に言語モデルに焦点を当てます。
。
深層学習モデルのアクセスしやすく包括的な概要を提供する前に、計算手法を使用するための状況に応じた基盤として最初の 2 つのアプローチについて触れます。これは、構築文法学者が抱く可能性のある留保にも対処します。
さらに、これらのモデル内で構造的に関連する情報の出現を調査する実験を掘り下げ、同時にこれらのモデルに課題を引き起こす可能性のある構造文法の側面も調査します。
この章は、自然言語処理と構築文法の分野の研究者間の協力を促進することを目的としています。
そうすることで、これらの両方の分野で新たな洞察と進歩への道を切り開くことができればと考えています。

要約(オリジナル)

Recent progress in deep learning and natural language processing has given rise to powerful models that are primarily trained on a cloze-like task and show some evidence of having access to substantial linguistic information, including some constructional knowledge. This groundbreaking discovery presents an exciting opportunity for a synergistic relationship between computational methods and Construction Grammar research. In this chapter, we explore three distinct approaches to the interplay between computational methods and Construction Grammar: (i) computational methods for text analysis, (ii) computational Construction Grammar, and (iii) deep learning models, with a particular focus on language models. We touch upon the first two approaches as a contextual foundation for the use of computational methods before providing an accessible, yet comprehensive overview of deep learning models, which also addresses reservations construction grammarians may have. Additionally, we delve into experiments that explore the emergence of constructionally relevant information within these models while also examining the aspects of Construction Grammar that may pose challenges for these models. This chapter aims to foster collaboration between researchers in the fields of natural language processing and Construction Grammar. By doing so, we hope to pave the way for new insights and advancements in both these fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google