Negation-Induced Forgetting in LLMs

要約

この研究では、大規模な言語モデル（LLM）が否定誘発忘却（NIF）を示すかどうかを調査します。これは、オブジェクトまたはイベントの誤った属性を否定することが、正しい属性を肯定することと比較してこのオブジェクトまたはイベントのリコールの減少につながることを示すかどうかを調査します（Mayo et al。、2014; Zang et al。、2023）。
Zang et al。
（2023）CHATGPT-3.5、GPT-4O MINIおよびLLAMA3-70B-Instructでこの効果をテストする実験的フレームワーク。
我々の結果は、ChatGPT-3.5がNIFを示しており、否定された情報が肯定された情報よりもリコールされる可能性が低いことを示しています。
GPT-4O-MINIはわずかに有意なNIF効果を示し、Llama-3-70BはNIFを示しませんでした。
調査結果は、一部のLLMで否定誘発性の忘却の初期証拠を提供し、これらのモデルで同様の認知バイアスが出現する可能性があることを示唆しています。
この作業は、メモリ関連の現象がLLMSでどのように現れるかを理解するための予備的なステップです。

要約(オリジナル)

The study explores whether Large Language Models (LLMs) exhibit negation-induced forgetting (NIF), a cognitive phenomenon observed in humans where negating incorrect attributes of an object or event leads to diminished recall of this object or event compared to affirming correct attributes (Mayo et al., 2014; Zang et al., 2023). We adapted Zang et al. (2023) experimental framework to test this effect in ChatGPT-3.5, GPT-4o mini and Llama3-70b-instruct. Our results show that ChatGPT-3.5 exhibits NIF, with negated information being less likely to be recalled than affirmed information. GPT-4o-mini showed a marginally significant NIF effect, while LLaMA-3-70B did not exhibit NIF. The findings provide initial evidence of negation-induced forgetting in some LLMs, suggesting that similar cognitive biases may emerge in these models. This work is a preliminary step in understanding how memory-related phenomena manifest in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google