Balancing Rigor and Utility: Mitigating Cognitive Biases in Large Language Models for Multiple-Choice Questions

要約

この論文では、大規模言語モデル (LLM) の意思決定プロセスにおける認知バイアスの役割を検証し、すべてのバイアスを排除するという従来の目標に挑戦します。
私たちは、特定の認知バイアスが適切にバランスがとれていれば、合理的な逸脱やヒューリスティックな近道を通じて意思決定の効率を高めることができることを示します。
ヒューリスティックなモデレーションと、LLM が不確実な場合に応答を保留できる棄権オプションを導入することにより、エラー率が減少し、意思決定の精度が向上し、意思決定率が最適化されます。
専門家の協力によって開発されたBalance Rigor and Utility (BRU) データセットを使用した私たちの調査結果は、認知バイアスの対象を絞った検査により、LLM の決定が人間の推論とより密接に一致し、信頼性が向上し、将来の改善のための戦略が示唆されることを示しています。
このアプローチは、認知バイアスを活用して、さまざまなアプリケーションにわたる LLM の実用性を向上させる新しい方法を提供します。

要約(オリジナル)

This paper examines the role of cognitive biases in the decision-making processes of large language models (LLMs), challenging the conventional goal of eliminating all biases. We show that certain cognitive biases when properly balanced, can enhance decision-making efficiency through rational deviations and heuristic shortcuts. By introducing heuristic moderation and an abstention option, which allows LLMs to withhold responses when uncertain, we reduce error rates, improve decision accuracy, and optimize decision rates. Using the Balance Rigor and Utility (BRU) dataset, developed through expert collaboration, our findings demonstrate that targeted inspection of cognitive biases aligns LLM decisions more closely with human reasoning, enhancing reliability and suggesting strategies for future improvements. This approach offers a novel way to leverage cognitive biases to improve the practical utility of LLMs across various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google