Towards Preventing Overreliance on Task-Oriented Conversational AI Through Accountability Modeling

要約

最近の LLM により、会話型エージェントは大幅に進歩しました。
しかし、彼らは幻覚を起こすこともよく知られています。つまり、彼らはしばしば、もっともらしいように見えても事実としては正しくない応答を生成します。
一方で、ユーザーは LLM ベースの AI エージェントに過度に依存する傾向があります。
AI の提案が間違っている場合でも、彼らはそれを受け入れます。
AI 支援の意思決定システムの緩和策として、説明やユーザーの確認など、適切な摩擦を加えることが提案されています。
この論文では、対話状態追跡 (DST) に関連するモデルの不確実性とエラーの場合に、フリクション ターンを介してユーザーの過剰依存に対処する、LLM ベースのタスク指向対話エージェントの責任モデルを提案します。
責任モデルは、対話状態のスロットを予測するバイナリ分類子として機能する追加の責任ヘッドを備えた拡張 LLM です。
確立された 2 つのタスク指向データセット (MultiWOZ および Snips) 上で 3 つのバックボーン LLM (Llama、Mistral、Gemma) を使用して実験を実行します。
私たちの経験的な調査結果は、このアプローチが AI エージェントのエラーの信頼できる推定を可能にするだけでなく、LLM デコーダーがより正確なアクションを生成できるようにすることを示しています。
MultiWOZ データセットの最新の LLM に責任責任者を組み込むことにより、共同目標の精度が絶対的に約 3% 向上したことが観察されています。
また、この方法によりエージェントがアクションを自己修正できるようになり、パフォーマンスがさらに 3% 向上することも示します。
最後に、摩擦を引き起こすことによってユーザーの過剰依存を防ぐための責任モデリングの適用について説明します。

要約(オリジナル)

Recent LLMs have enabled significant advancements for conversational agents. However, they are also well-known to hallucinate, i.e., they often produce responses that seem plausible but are not factually correct. On the other hand, users tend to over-rely on LLM-based AI agents; they accept the AI’s suggestion even when it is wrong. Adding good friction, such as explanations or getting user confirmations, has been proposed as a mitigation in AI-supported decision-making systems. In this paper, we propose an accountability model for LLM-based task-oriented dialogue agents to address user overreliance via friction turns in cases of model uncertainty and errors associated with dialogue state tracking (DST). The accountability model is an augmented LLM with an additional accountability head, which functions as a binary classifier to predict the slots of the dialogue states. We perform our experiments with three backbone LLMs (Llama, Mistral, Gemma) on two established task-oriented datasets (MultiWOZ and Snips). Our empirical findings demonstrate that this approach not only enables reliable estimation of AI agent errors but also guides the LLM decoder in generating more accurate actions. We observe around 3% absolute improvement in joint goal accuracy by incorporating accountability heads in modern LLMs for the MultiWOZ dataset. We also show that this method enables the agent to self-correct its actions, further boosting its performance by 3%. Finally, we discuss the application of accountability modeling to prevent user overreliance by introducing friction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google