Minion: A Technology Probe for Resolving Value Conflicts through Expert-Driven and User-Driven Strategies in AI Companion Applications

要約

大規模な言語モデルに基づいた AI コンパニオンは、非常に自然にロールプレイをしたり会話したりできます。
AI コンパニオンとユーザーの間で価値観の対立が生じると、ユーザーを怒らせたり動揺させたりする可能性があります。
しかし、そのような紛争を調査した研究はほとんどありません。
私たちはまず、AI コンパニオンとの競合に関する 151 件のユーザーの苦情を分析する形成的調査を実施し、調査の設計上の示唆を提供しました。
これらに基づいて、ユーザーが人間と AI の価値観の対立を解決できるように支援するテクノロジー プローブである Minion を作成しました。
Minion は、専門家主導の競合解決戦略とユーザー主導の競合解決戦略を組み合わせて提案を提供するユーザー権限介入手法を適用します。
私たちはテクノロジー プローブ調査を実施し、Character.AI と Talkie に関する 40 の値の競合シナリオを作成しました。
22 人の参加者が 274 のタスクを完了し、94.16% の確率で競合を正常に解決しました。
私たちは、価値観の矛盾を解決する際のユーザーの反応、好み、ニーズを要約し、矛盾を減らし、ユーザーがより効果的に矛盾を解決できるようにするための設計上の影響を提案します。

要約(オリジナル)

AI companions based on large language models can role-play and converse very naturally. When value conflicts arise between the AI companion and the user, it may offend or upset the user. Yet, little research has examined such conflicts. We first conducted a formative study that analyzed 151 user complaints about conflicts with AI companions, providing design implications for our study. Based on these, we created Minion, a technology probe to help users resolve human-AI value conflicts. Minion applies a user-empowerment intervention method that provides suggestions by combining expert-driven and user-driven conflict resolution strategies. We conducted a technology probe study, creating 40 value conflict scenarios on Character.AI and Talkie. 22 participants completed 274 tasks and successfully resolved conflicts 94.16% of the time. We summarize user responses, preferences, and needs in resolving value conflicts, and propose design implications to reduce conflicts and empower users to resolve them more effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google