Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks

要約

私たちは意思決定を行う際にどれだけ客観的で公平であるでしょうか?
この研究では、人間の専門家による一か八かの意思決定プロセスにおける認知バイアスの特定を調査し、大学入学のための候補者の評価など、現実世界の状況における認知バイアスの有効性に疑問を呈しています。
まず、現在のプロセスにおけるさまざまな意思決定ポイント間の相関関係を評価する統計分析から始めます。これにより、認知バイアスや意思決定の一貫性のなさを示唆する矛盾が発見されます。
これが、人間の判断を超えた、バイアスを意識した AI 拡張ワークフローの探求の動機となっています。
我々は、バイトペアエンコーディング、マルチヘッドアテンション、およびゲートされた残留接続によって強化された階層型アテンションネットワークであるBGM-HANを提案します。
これをバックボーン モデルとして使用し、現実世界の意思決定をシミュレートするショートリスト分析推奨 (SAR) エージェント ワークフローをさらに提案します。
私たちの実験では、提案されたモデルとエージェント ワークフローの両方が、人間の判断と代替モデルの両方で大幅に改善され、実世界のデータで検証されました。

要約(オリジナル)

How objective and unbiased are we while making decisions? This work investigates cognitive bias identification in high-stake decision making process by human experts, questioning its effectiveness in real-world settings, such as candidates assessments for university admission. We begin with a statistical analysis assessing correlations among different decision points among in the current process, which discovers discrepancies that imply cognitive bias and inconsistency in decisions. This motivates our exploration of bias-aware AI-augmented workflow that surpass human judgment. We propose BGM-HAN, a hierarchical attention network enhanced by byte-pair encoding, multi-head attention and gated residual connection. Using it as backbone model, we further propose a Shortlist-Analyse-Recommend (SAR) agentic workflow, which simulate real-world decision-making. In our experiments, both the proposed model and the agentic workflow significantly improves on both human judgment and alternative models, validated with real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google