Better Slow than Sorry: Introducing Positive Friction for Reliable Dialogue Systems

要約

談話と認知科学の理論は、ゆったりとしたペーシングの価値を長い間認識してきましたが、最近の対話研究は会話システムの摩擦を最小限に抑える傾向があります。
しかし、摩擦のない対話は、AI出力への批判的でない依存を促進する危険性があり、それは暗黙の仮定を曖昧にし、意図しない結果につながる可能性があります。
この課題に対処するために、肯定的な摩擦を会話型AIに統合することを提案します。これにより、目標に関するユーザーの反映、システム応答に関する批判的思考、およびその後のAIシステムの再条件を促進します。
システムを仮定すると、戦略的な瞬間に意図的に会話を遅くすることにより、目標の調整、ユーザーの精神状態のモデリング、およびタスクの成功を改善することができます。
私たちは、積極的な摩擦のオントロジーを提示し、マルチドメインと具体化された目標指向のコーパスに関する専門家の人間の注釈を収集します。
これらのコーパスでの実験は、最先端のシステムを使用したシミュレートされた相互作用とともに、摩擦を組み込むことで説明責任のある意思決定を促進するだけでなく、ユーザーの信念と目標の機械の理解を高め、タスクの成功率を高めることを示唆しています。

要約(オリジナル)

While theories of discourse and cognitive science have long recognized the value of unhurried pacing, recent dialogue research tends to minimize friction in conversational systems. Yet, frictionless dialogue risks fostering uncritical reliance on AI outputs, which can obscure implicit assumptions and lead to unintended consequences. To meet this challenge, we propose integrating positive friction into conversational AI, which promotes user reflection on goals, critical thinking on system response, and subsequent re-conditioning of AI systems. We hypothesize systems can improve goal alignment, modeling of user mental states, and task success by deliberately slowing down conversations in strategic moments to ask questions, reveal assumptions, or pause. We present an ontology of positive friction and collect expert human annotations on multi-domain and embodied goal-oriented corpora. Experiments on these corpora, along with simulated interactions using state-of-the-art systems, suggest incorporating friction not only fosters accountable decision-making, but also enhances machine understanding of user beliefs and goals, and increases task success rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google