Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge

要約

タイトル：意図した通りに話そう！大規模言語モデルは負の常識に対して過剰に肯定的に話す傾向がある

要約：
– 大規模言語モデル(Large language models: LLMs)は、ポジティブな知識を格納し活用する能力について広く研究されているが、ライオンが海に住まないなどのようなネガティブな常識的知識は、テキストで明示的に言及されることはあまりない。
– この研究では、LLMsがネガティブな常識的知識をどの程度理解できるかを検討している。
– この研究では、キーワードから文章を生成する課題(Constraint keywords-to-sentence generation task: CG)とブール型の質疑応答課題(Boolean question-answering task: QA)を使用して、LLMsを探っている。
– 実験の結果、LLMsはネガティブな常識的知識に基づく妥当な文章を生成することができず、一方で極性のあるはい・いいえの質問には正しい答えを出すことができることが明らかになった。
– この現象は、LLMsの信念の衝突と呼ばれている。さらに分析すると、言語モデルの事前学習時に統計的ショートカットや否定報告バイアスがあることが、この衝突を引き起こしていることがわかった。

要約(オリジナル)

Large language models (LLMs) have been widely studied for their ability to store and utilize positive knowledge. However, negative knowledge, such as ‘lions don’t live in the ocean’, is also ubiquitous in the world but rarely mentioned explicitly in the text. What do LLMs know about negative knowledge? This work examines the ability of LLMs to negative commonsense knowledge. We design a constrained keywords-to-sentence generation task (CG) and a Boolean question-answering task (QA) to probe LLMs. Our experiments reveal that LLMs frequently fail to generate valid sentences grounded in negative commonsense knowledge, yet they can correctly answer polar yes-or-no questions. We term this phenomenon the belief conflict of LLMs. Our further analysis shows that statistical shortcuts and negation reporting bias from language modeling pre-training cause this conflict.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI