Do Large Language Models know who did what to whom?

要約

大規模な言語モデル（LLM）は、言語を理解していないことで一般的に批判されています。
しかし、多くの批判は、人間では言語処理とは異なる認知能力に焦点を当てています。
ここで、私たちは代わりに、言語に密接にリンクしたある種の理解を研究します。
テーマの役割をキャプチャする文の表現におけるLLMSワード予測と表現の中心的なトレーニングの目的は？
2つの実験で、4つのLLMで文の表現を特徴付けました。
人間の類似性の判断とは対照的に、LLMSでは、文の全体的な表現類似性は、構文の類似性を反映していますが、エージェントと患者の割り当てが逆になったかどうかは反転しませんでした。
さらに、隠されたユニットのどのサブセットでもテーマの役割情報が利用可能であるという証拠はほとんど見つかりませんでした。
ただし、いくつかの注意ヘッドは、構文とは無関係に、テーマの役割を堅牢にキャプチャしました。
したがって、LLMはテーマの役割を抽出することができますが、人間と比較して、この情報は表現により弱く影響します。

要約(オリジナル)

Large Language Models (LLMs) are commonly criticized for not understanding language. However, many critiques focus on cognitive abilities that, in humans, are distinct from language processing. Here, we instead study a kind of understanding tightly linked to language: inferring who did what to whom (thematic roles) in a sentence. Does the central training objective of LLMs-word prediction-result in sentence representations that capture thematic roles? In two experiments, we characterized sentence representations in four LLMs. In contrast to human similarity judgments, in LLMs the overall representational similarity of sentence pairs reflected syntactic similarity but not whether their agent and patient assignments were identical vs. reversed. Furthermore, we found little evidence that thematic role information was available in any subset of hidden units. However, some attention heads robustly captured thematic roles, independently of syntax. Therefore, LLMs can extract thematic roles but, relative to humans, this information influences their representations more weakly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google