Can Language Models Be Tricked by Language Illusions? Easier with Syntax, Harder with Semantics

要約

言語モデル (LM) は、文法性の判断タスクにおいて人間と実質的に重複すると主張されています。
しかし、人間が言語処理において体系的にエラーを犯す場合、LM が言語の認知モデルのように動作し、人間の行動を模倣すると期待すべきでしょうか?
我々は、「言語錯覚」、つまり意味が曖昧で、ありえない、または文法的でないにもかかわらず、人間によって予想外に高い受け入れ可能性の判断を受ける文章である、「言語錯覚」に関連するLMのより微妙な判断を調査することによって、この質問に答えます。
私たちは 3 つの錯視を調べました。比較錯視 (例: 「私よりも多くの人がロシアに行ったことがある」)、爆雷錯視 (例: 「頭部の損傷は無視できないほど軽微ではない」)、および負の極性項目 (
NPI) 錯覚 (例: 「村人が誰も信頼できると信じていないハンターがクマを撃つことは決してないだろう」)。
私たちは、LM によって表される確率は、高度な意味的理解を必要とする比較錯視や爆雷錯視と比較して、構造依存性を調べる NPI 錯視によって「だまされる」という人間の判断と一致する可能性が高いことを発見しました。
単一の LM や指標から、人間の行動と完全に一致する結果は得られませんでした。
最終的に、LM は人間の言語処理の認知モデルとしての解釈と、複雑な言語素材に含まれる微妙ではあるが重要な情報を認識する能力の両方において限界があることを示します。

要約(オリジナル)

Language models (LMs) have been argued to overlap substantially with human beings in grammaticality judgment tasks. But when humans systematically make errors in language processing, should we expect LMs to behave like cognitive models of language and mimic human behavior? We answer this question by investigating LMs’ more subtle judgments associated with ‘language illusions’ — sentences that are vague in meaning, implausible, or ungrammatical but receive unexpectedly high acceptability judgments by humans. We looked at three illusions: the comparative illusion (e.g. ‘More people have been to Russia than I have’), the depth-charge illusion (e.g. ‘No head injury is too trivial to be ignored’), and the negative polarity item (NPI) illusion (e.g. ‘The hunter who no villager believed to be trustworthy will ever shoot a bear’). We found that probabilities represented by LMs were more likely to align with human judgments of being ‘tricked’ by the NPI illusion which examines a structural dependency, compared to the comparative and the depth-charge illusions which require sophisticated semantic understanding. No single LM or metric yielded results that are entirely consistent with human behavior. Ultimately, we show that LMs are limited both in their construal as cognitive models of human language processing and in their capacity to recognize nuanced but critical information in complicated language materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google