Transparency Helps Reveal When Language Models Learn Meaning

要約

現在の多くの自然言語処理システムは、大量の生テキストに対して教師なし目的を最適化するために学習された言語モデルから構築されています。このような方法は、どのような条件下で意味を獲得できるのだろうか。合成データを用いた我々の系統的な実験により、すべての表現が文脈に依存しない表記を持つ言語（すなわち、強い透明性を持つ言語）では、自己回帰型言語モデルもマスク型言語モデルも、表現間の意味関係のエミュレーション学習に成功することがわかった。しかし、文脈に依存した表現に変更され、それ以外の言語が変更されない場合、この能力は低下する。自然言語に目を向けると、特定の現象である「言及の不透明さ」に関する我々の実験は、現在の言語モデルが自然言語の意味をうまく表現できていないことを示す、増えつつある証拠に追加される。この失敗は、自然言語の形と意味の対応付けの文脈依存的な性質に関連していることを示す。

要約(オリジナル)

Many current NLP systems are built from language models trained to optimize unsupervised objectives on large amounts of raw text. Under what conditions might such a procedure acquire meaning? Our systematic experiments with synthetic data reveal that, with languages where all expressions have context-independent denotations (i.e., languages with strong transparency), both autoregressive and masked language models successfully learn to emulate semantic relations between expressions. However, when denotations are changed to be context-dependent with the language otherwise unmodified, this ability degrades. Turning to natural language, our experiments with a specific phenomenon — referential opacity — add to the growing body of evidence that current language models do not represent natural language semantics well. We show this failure relates to the context-dependent nature of natural language form-meaning mappings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL