Democratizing Reward Design for Personal and Representative Value-Alignment

要約

AI エージェントを人間の価値観に合わせるのは、価値観が多様で主観的なものであるため、困難です。
標準的な調整方法では群衆のフィードバックが集約されることが多く、その結果、独自の好みや少数派の好みが抑制される可能性があります。
インタラクティブ・リフレクティブ・ダイアログ・アライメントを導入します。これは、ユーザーが主観的な価値の定義を振り返り、指定することに繰り返し関与する方法です。
このシステムは、言語モデルベースの好みの引き出しを通じて個人の価値定義を学習し、AI の行動を調整するために使用できるパーソナライズされた報酬モデルを構築します。
私たちは、30 人の参加者を対象とした 2 つの研究を通じてシステムを評価しました。1 つは「尊重」に焦点を当て、もう 1 つは自動運転車における倫理的な意思決定に焦点を当てました。
私たちの調査結果は、価値観に沿った行動の多様な定義を実証し、私たちのシステムが各人の独自の理解を正確に把握できることを示しています。
このアプローチにより、個人的な調整が可能になり、より代表的で解釈可能な集合的な調整戦略を知らせることができます。

要約(オリジナル)

Aligning AI agents with human values is challenging due to diverse and subjective notions of values. Standard alignment methods often aggregate crowd feedback, which can result in the suppression of unique or minority preferences. We introduce Interactive-Reflective Dialogue Alignment, a method that iteratively engages users in reflecting on and specifying their subjective value definitions. This system learns individual value definitions through language-model-based preference elicitation and constructs personalized reward models that can be used to align AI behaviour. We evaluated our system through two studies with 30 participants, one focusing on ‘respect’ and the other on ethical decision-making in autonomous vehicles. Our findings demonstrate diverse definitions of value-aligned behaviour and show that our system can accurately capture each person’s unique understanding. This approach enables personalized alignment and can inform more representative and interpretable collective alignment strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google