Montague semantics and modifier consistency measurement in neural language models

要約

タイトル：ニューラル言語モデルにおけるモンタギュー意味論と修飾語の一貫性の測定

要約：
– 分布言語表現モデルは、近年、実用的な成功を示している。
– 同時に、その解釈性について疑問が呈され、その本質的な性質や能力について問われている。
– 分布モデルは、自然言語における合成的な現象に対処する際に、しばしば不一致があり、その安全性や公正性に重大な影響を与える。
– それにもかかわらず、合成性に関するほとんどの現在の研究は、類似性のタスクのパフォーマンスを改善することに焦点を当てている。
– この研究は異なるアプローチを取り、現代の言語モデルにおける合成的行動の測定法を提案する。
– 具体的には、形容詞-名詞句における形容詞修飾現象に注目する。
– モンタギュー意味論に着想を得た合成的行動の新しいテストを3つ導入する。
– 実験結果から、現在のニューラル言語モデルは、期待される言語理論に従う合成的行動を、限定的な範囲で示している。
– これが意味するのは、これらの言語モデルが、評価した意味的特性を捉えることができないのか、あるいは、モンタギュー伝統の言語理論が分布モデルの期待される能力に合わない可能性があることを問うている。

要約(オリジナル)

In recent years, distributional language representation models have demonstrated great practical success. At the same time, the need for interpretability has elicited questions on their intrinsic properties and capabilities. Crucially, distributional models are often inconsistent when dealing with compositional phenomena in natural language, which has significant implications for their safety and fairness. Despite this, most current research on compositionality is directed towards improving their performance on similarity tasks only. This work takes a different approach, and proposes a methodology for measuring compositional behavior in contemporary language models. Specifically, we focus on adjectival modifier phenomena in adjective-noun phrases. We introduce three novel tests of compositional behavior inspired by Montague semantics. Our experimental results indicate that current neural language models behave according to the expected linguistic theories to a limited extent only. This raises the question of whether these language models are not able to capture the semantic properties we evaluated, or whether linguistic theories from Montagovian tradition would not match the expected capabilities of distributional models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI