Investigating the effect of Mental Models in User Interaction with an Adaptive Dialog Agent

要約

メンタル モデルは、対話システムなどのインテリジェント システムとのユーザー インタラクションが成功するかどうかにおいて重要な役割を果たします。
適応型ダイアログ システムは、ダイアログ エージェントの動作を異種ユーザーの期待に合わせて調整する機会を提供します。
しかし、タスク指向の対話システムと対話するときにユーザーがどのようなメンタルモデルを形成するか、これらのモデルがユーザーの対話にどのような影響を与えるか、またはシステムの適応がこのプロセスでどのような役割を果たすことができるかについてはほとんど研究されていないため、人間への損害を回避することが困難となっています。
– AI パートナーシップ。
この研究では、情報探索ダイアログ システムに関するユーザーのメンタル モデルを調査するために、公開されている新しいデータセットを収集します。
我々は、ユーザーがそのようなシステムに関してさまざまな矛盾するメンタルモデルを持っており、その妥当性がユーザーのインタラクションの成功とシステムの認識される使いやすさに直接影響を与えることを実証します。
さらに、対話エージェントの動作をユーザーのメンタル モデルとよりよく一致するように適応させると、それが暗黙的に行われた場合でも、知覚されるユーザビリティ、対話の効率、および成功が向上する可能性があることを示します。
この目的のために、開発者が最初にユーザーのメンタルモデルをしっかりと理解している限り、暗黙的な適応はタスク指向の対話システムにとって有効な戦略になり得ると私たちは主張します。

要約(オリジナル)

Mental models play an important role in whether user interaction with intelligent systems, such as dialog systems is successful or not. Adaptive dialog systems present the opportunity to align a dialog agent’s behavior with heterogeneous user expectations. However, there has been little research into what mental models users form when interacting with a task-oriented dialog system, how these models affect users’ interactions, or what role system adaptation can play in this process, making it challenging to avoid damage to human-AI partnership. In this work, we collect a new publicly available dataset for exploring user mental models about information seeking dialog systems. We demonstrate that users have a variety of conflicting mental models about such systems, the validity of which directly impacts the success of their interactions and perceived usability of system. Furthermore, we show that adapting a dialog agent’s behavior to better align with users’ mental models, even when done implicitly, can improve perceived usability, dialog efficiency, and success. To this end, we argue that implicit adaptation can be a valid strategy for task-oriented dialog systems, so long as developers first have a solid understanding of users’ mental models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google