Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making

要約

AI 支援による意思決定では、人間が AI の提案を受動的に検討し、それを全体として受け入れるか拒否するかを決定することがよくあります。
このようなパラダイムでは、人間が分析的思考を引き起こすことはほとんどなく、意見の相違が生じた場合に、対立する意見のニュアンスを AI に伝えるのが困難であることがわかります。
この課題に取り組むために、私たちは意思決定における人間と AI の意見の対立について人間による熟考と議論を促進する新しいフレームワークである人間と AI の審議を提案します。
人間による熟議の理論に基づいたこのフレームワークは、人間と AI を次元レベルの意見引き出し、熟議上の議論、意思決定の更新に関与させます。
AI に熟議機能を強化するために、人間とドメイン固有のモデルの間の橋渡しとして大規模言語モデル (LLM) を活用し、柔軟な会話型の対話と忠実な情報提供を可能にする熟議 AI を設計しました。
大学院入学のタスクに関する探索的評価では、人間の適切な信頼性とタスクのパフォーマンスを向上させる点で、Deliberative AI が従来の Explainable AI (XAI) アシスタントよりも優れていることが示されています。
参加者の行動、認識、ユーザーエクスペリエンス、および自由形式のフィードバックの混合方法分析に基づいて、将来の AI 支援意思決定ツールの設計への示唆を導き出します。

要約(オリジナル)

In AI-assisted decision-making, humans often passively review AI’s suggestion and decide whether to accept or reject it as a whole. In such a paradigm, humans are found to rarely trigger analytical thinking and face difficulties in communicating the nuances of conflicting opinions to the AI when disagreements occur. To tackle this challenge, we propose Human-AI Deliberation, a novel framework to promote human reflection and discussion on conflicting human-AI opinions in decision-making. Based on theories in human deliberation, this framework engages humans and AI in dimension-level opinion elicitation, deliberative discussion, and decision updates. To empower AI with deliberative capabilities, we designed Deliberative AI, which leverages large language models (LLMs) as a bridge between humans and domain-specific models to enable flexible conversational interactions and faithful information provision. An exploratory evaluation on a graduate admissions task shows that Deliberative AI outperforms conventional explainable AI (XAI) assistants in improving humans’ appropriate reliance and task performance. Based on a mixed-methods analysis of participant behavior, perception, user experience, and open-ended feedback, we draw implications for future AI-assisted decision tool design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google