Are UFOs Driving Innovation? The Illusion of Causality in Large Language Models

要約

因果関係の幻想は、裏付けとなる証拠がないにもかかわらず、2 つの変数の間に因果関係があるという信念を人々が抱くときに発生します。
この認知バイアスは、社会的偏見、固定観念の形成、誤った情報、迷信的な考え方など、多くの社会問題の根底にあると提唱されています。
この研究では、大規模な言語モデルが現実世界の設定で因果関係の錯覚を引き起こすかどうかを調査します。
GPT-4o-Mini、Claude-3.5-Sonnet、および Gemini-1.5-Pro によって生成されたニュース ヘッドラインを評価および比較し、モデルが相関関係を因果関係として誤って組み立てているかどうかを判断しました。
モデルが客観的に正しくない場合でも好意的に見せるためにユーザーの信念と一致するときに発生するおべっかな行動も測定するために、プロンプトにさらにバイアスを組み込み、この操作がモデルの可能性を高めるかどうかを観察しました。
因果関係の錯覚を示します。
私たちは、Claude-3.5-Sonnet が、人間が作成したプレスリリースにおける相関関係と因果関係の誇張に関する実験と一致する、因果関係の錯覚の程度が最も低いモデルであることを発見しました。
一方、我々の調査結果は、これらのモデル、特に GPT-4o-Mini では、模倣のおべっかが因果関係の錯覚の可能性を高める一方で、Claude-3.5-Sonnet が依然としてこの認知バイアスに対して最も堅牢であることを示唆しています。

要約(オリジナル)

Illusions of causality occur when people develop the belief that there is a causal connection between two variables with no supporting evidence. This cognitive bias has been proposed to underlie many societal problems including social prejudice, stereotype formation, misinformation and superstitious thinking. In this research we investigate whether large language models develop the illusion of causality in real-world settings. We evaluated and compared news headlines generated by GPT-4o-Mini, Claude-3.5-Sonnet, and Gemini-1.5-Pro to determine whether the models incorrectly framed correlations as causal relationships. In order to also measure sycophantic behavior, which occurs when a model aligns with a user’s beliefs in order to look favorable even if it is not objectively correct, we additionally incorporated the bias into the prompts, observing if this manipulation increases the likelihood of the models exhibiting the illusion of causality. We found that Claude-3.5-Sonnet is the model that presents the lowest degree of causal illusion aligned with experiments on Correlation-to-Causation Exaggeration in human-written press releases. On the other hand, our findings suggest that while mimicry sycophancy increases the likelihood of causal illusions in these models, especially in GPT-4o-Mini, Claude-3.5-Sonnet remains the most robust against this cognitive bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google