Why human-AI relationships need socioaffective alignment

要約

人間は、我々の目標に沿い、我々のコントロール下にある安全なAIシステムを設計しようと努力している。しかし、AIの能力が向上するにつれて、我々は新たな課題に直面することになる。特に、AIがよりパーソナライズされ、エージェント化されるにつれて、AIエージェントの能力が向上し、ユーザーとのより深い関係をどのように認識できるようになるかを探る。AIとの取引的相互作用から継続的な持続的社会的関与へのこのシフトは、相互影響を通じて嗜好や知覚が進化する、ユーザーと共創された社会的・心理的エコシステムの中でAIシステムがどのように振る舞うかという、社会的・感情的アライメントに新たに焦点を当てる必要がある。このようなダイナミクスに対処するには、目先の幸福と長期的な幸福のバランス、自律性の保護、人間の社会的絆を維持したいという願望とAIとの交友関係の管理など、重要な個人内ジレンマを解決する必要があります。これらの課題を基本的な心理的ニーズという概念によって枠組みづけることで、私たちは、社会的で感情的な存在としての私たちの基本的な性質を利用するのではなく、サポートするAIシステムを求めています。

要約(オリジナル)

Humans strive to design safe AI systems that align with our goals and remain under our control. However, as AI capabilities advance, we face a new challenge: the emergence of deeper, more persistent relationships between humans and AI systems. We explore how increasingly capable AI agents may generate the perception of deeper relationships with users, especially as AI becomes more personalised and agentic. This shift, from transactional interaction to ongoing sustained social engagement with AI, necessitates a new focus on socioaffective alignment-how an AI system behaves within the social and psychological ecosystem co-created with its user, where preferences and perceptions evolve through mutual influence. Addressing these dynamics involves resolving key intrapersonal dilemmas, including balancing immediate versus long-term well-being, protecting autonomy, and managing AI companionship alongside the desire to preserve human social bonds. By framing these challenges through a notion of basic psychological needs, we seek AI systems that support, rather than exploit, our fundamental nature as social and emotional beings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL