Anchoring Bias in Large Language Models: An Experimental Study

要約

GPT-4 や Gemini などの大規模言語モデル (LLM) は、機械が人間のようなテキストを生成して理解できるようにすることで、人工知能を大幅に進化させました。
LLM は、その優れた機能にもかかわらず、さまざまなバイアスを含む制限の影響を受けないわけではありません。
人口統計上のバイアスについては多くの研究が調査されていますが、LLM の認知バイアスは同様に精査されていません。
この研究では、最初の情報が判断に不釣り合いな影響を与える認知バイアスであるアンカリング バイアスについて詳しく調査しています。
実験データセットを利用して、LLM でアンカリング バイアスがどのように現れるかを調べ、さまざまな緩和戦略の有効性を検証します。
私たちの調査結果は、偏ったヒントに対する LLM 応答の敏感さを浮き彫りにしています。
同時に、私たちの実験は、アンカリングバイアスを軽減するには、LLM が個々の情報に固定されるのを防ぐために包括的な角度からヒントを収集する必要があることを示していますが、思考連鎖や原則の思考などの単純なアルゴリズムは、
、アンカーヒントの無視、リフレクションだけでは不十分です。

要約(オリジナル)

Large Language Models (LLMs) like GPT-4 and Gemini have significantly advanced artificial intelligence by enabling machines to generate and comprehend human-like text. Despite their impressive capabilities, LLMs are not immune to limitations, including various biases. While much research has explored demographic biases, the cognitive biases in LLMs have not been equally scrutinized. This study delves into anchoring bias, a cognitive bias where initial information disproportionately influences judgment. Utilizing an experimental dataset, we examine how anchoring bias manifests in LLMs and verify the effectiveness of various mitigation strategies. Our findings highlight the sensitivity of LLM responses to biased hints. At the same time, our experiments show that, to mitigate anchoring bias, one needs to collect hints from comprehensive angles to prevent the LLMs from being anchored to individual pieces of information, while simple algorithms such as Chain-of-Thought, Thoughts of Principles, Ignoring Anchor Hints, and Reflection are not sufficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google