Balancing Rigor and Utility: Mitigating Cognitive Biases in Large Language Models for Multiple-Choice Questions

要約

本稿では、大規模言語モデル（LLM）の意思決定プロセスにおける認知バイアスの役割を検証し、バイアスをすべて排除するという従来の目標に挑戦する。我々は、ある種の認知バイアスが適切にバランスされていれば、合理的な逸脱とヒューリスティックなショートカットによって意思決定の効率を高めることができることを示す。ヒューリスティック・モデレーションと、LLMが不確実な場合に回答を保留できる棄権オプションを導入することで、エラー率を減らし、意思決定精度を向上させ、意思決定率を最適化する。専門家の協力により開発されたBalance Rigor and Utility (BRU)データセットを使用し、認知バイアスの検査対象を絞ることで、LLMの判断が人間の推論により近くなり、信頼性が向上し、将来の改善戦略が示唆されることを実証した。このアプローチは、認知バイアスを活用して、様々なアプリケーションにおけるLLMの実用的な有用性を向上させる新しい方法を提供する。

要約(オリジナル)

This paper examines the role of cognitive biases in the decision-making processes of large language models (LLMs), challenging the conventional goal of eliminating all biases. We show that certain cognitive biases when properly balanced, can enhance decision-making efficiency through rational deviations and heuristic shortcuts. By introducing heuristic moderation and an abstention option, which allows LLMs to withhold responses when uncertain, we reduce error rates, improve decision accuracy, and optimize decision rates. Using the Balance Rigor and Utility (BRU) dataset, developed through expert collaboration, our findings demonstrate that targeted inspection of cognitive biases aligns LLM decisions more closely with human reasoning, enhancing reliability and suggesting strategies for future improvements. This approach offers a novel way to leverage cognitive biases to improve the practical utility of LLMs across various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL