A Psycholinguistic Evaluation of Language Models’ Sensitivity to Argument Roles

要約

人間の議論の役割処理に関する心理言語学的研究を再現することにより、議論の役割、つまり誰が誰に何をしたかに対する大規模言語モデルの感受性の体系的な評価を提示します。
3 つの実験で、言語モデルが、もっともらしい文脈とありえない文脈に現れる動詞を区別できることがわかりました。もっともらしさは、動詞とその前の引数との関係によって決まります。
ただし、どのモデルも、人間の理解者がリアルタイムの動詞予測中に示すのと同じ選択パターンを捉えていません。
これは、動詞の妥当性を検出する言語モデルの能力が、人間のリアルタイム文処理の基礎となる同じメカニズムから生じたものではないことを示しています。

要約(オリジナル)

We present a systematic evaluation of large language models’ sensitivity to argument roles, i.e., who did what to whom, by replicating psycholinguistic studies on human argument role processing. In three experiments, we find that language models are able to distinguish verbs that appear in plausible and implausible contexts, where plausibility is determined through the relation between the verb and its preceding arguments. However, none of the models capture the same selective patterns that human comprehenders exhibit during real-time verb prediction. This indicates that language models’ capacity to detect verb plausibility does not arise from the same mechanism that underlies human real-time sentence processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google