Active Use of Latent Constituency Representation in both Humans and Large Language Models

要約

ChatGPT などの大規模言語モデル (LLM) だけでなく、人間の脳内で文章が内部的にどのように表現されるかを理解することは、認知科学にとって大きな課題です。
古典的な言語理論では、脳は文を階層的に構成された構成要素に解析することによって表現すると提案されています。
対照的に、LLM は言語構成要素を明示的に解析せず、その潜在的な表現は十分に説明されていないままです。
ここでは、人間とLLMが、文からどの単語を削除すべきかを推測するという新しいワンショット学習タスク中の行動を分析することにより、階層的な言語構成要素の同様の潜在表現を構築することを実証します。
人間も LLM も、非構成要素の単語列ではなく、構成要素を削除する傾向があります。
対照的に、単語のプロパティと順序位置にアクセスできる単純なシーケンス処理モデルは、このプロパティを示しません。
単語の削除動作に基づいて、人間と LLM の両方の文の潜在構成ツリー表現を再構築できます。
これらの結果は、潜在的なツリー構造の構成要素表現が人間の脳と LLM の両方で出現する可能性があることを示しています。

要約(オリジナル)

Understanding how sentences are internally represented in the human brain, as well as in large language models (LLMs) such as ChatGPT, is a major challenge for cognitive science. Classic linguistic theories propose that the brain represents a sentence by parsing it into hierarchically organized constituents. In contrast, LLMs do not explicitly parse linguistic constituents and their latent representations remains poorly explained. Here, we demonstrate that humans and LLMs construct similar latent representations of hierarchical linguistic constituents by analyzing their behaviors during a novel one-shot learning task, in which they infer which words should be deleted from a sentence. Both humans and LLMs tend to delete a constituent, instead of a nonconstituent word string. In contrast, a naive sequence processing model that has access to word properties and ordinal positions does not show this property. Based on the word deletion behaviors, we can reconstruct the latent constituency tree representation of a sentence for both humans and LLMs. These results demonstrate that a latent tree-structured constituency representation can emerge in both the human brain and LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google