AI Alignment Dialogues: An Interactive Approach to AI Alignment in Support Agents

要約

AI の調整とは、AI システムが人間にとって有益な目標と活動のみを追求できるようにすることです。
AI の調整に対する現在のアプローチのほとんどは、人間が何を重視しているかを行動データから学習することです。
このペーパーでは、調整の概念を別の方法で見ることを提案します。つまり、AI アラインメント ダイアログ、つまりユーザーとエージェントが対話を通じて調整を達成し、維持しようとする対話を導入することによって提案します。
私たちは、調整ダイアログにはデータ駆動型のアプローチと比較して、特にユーザーの現在の行動ではなく将来の望ましい行動の実現を支援することを目的とした行動支援エージェントにとって、多くの利点があると主張します。
調整ダイアログの利点には、ユーザーがより高いレベルの概念をエージェントに直接伝えることができること、エージェントの透明性と信頼性が向上することが含まれます。
この文書では、調整ダイアログの概念と高レベルの構造について概説します。
さらに、定性的なフォーカス グループによるユーザー調査を実施し、そこからアライメント ダイアログがユーザーにどのような影響を与えるかを説明するモデルを開発し、AI アライメント ダイアログの設計提案を作成しました。
これを通じて、AI 調整対話の基礎を確立し、さらなる開発と研究が必要なものを明らかにします。

要約(オリジナル)

AI alignment is about ensuring AI systems only pursue goals and activities that are beneficial to humans. Most of the current approach to AI alignment is to learn what humans value from their behavioural data. This paper proposes a different way of looking at the notion of alignment, namely by introducing AI Alignment Dialogues: dialogues with which users and agents try to achieve and maintain alignment via interaction. We argue that alignment dialogues have a number of advantages in comparison to data-driven approaches, especially for behaviour support agents, which aim to support users in achieving their desired future behaviours rather than their current behaviours. The advantages of alignment dialogues include allowing the users to directly convey higher-level concepts to the agent, and making the agent more transparent and trustworthy. In this paper we outline the concept and high-level structure of alignment dialogues. Moreover, we conducted a qualitative focus group user study from which we developed a model that describes how alignment dialogues affect users, and created design suggestions for AI alignment dialogues. Through this we establish foundations for AI alignment dialogues and shed light on what requires further development and research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google