Agent Alignment in Evolving Social Norms

要約

大規模言語モデル (LLM) に基づくエージェントは、人間の生産と生活のさまざまな領域にますます浸透しており、エージェントを人間の価値観と一致させることの重要性が強調されています。
現在の AI システムの調整は、人間の介入を通じて LLM を受動的に調整することに主に焦点を当てています。
ただし、エージェントには環境フィードバックの受信や自己進化などの特性があるため、LLM 調整方法は不十分です。
これに応えて、我々は、エージェントの進化と調整のための進化的フレームワークを提案します。このフレームワークは、エージェントの調整を、適者生存の原則に基づく進化と選択のプロセスに変換する EevolutionaryAgent と呼ばれます。
社会規範が継続的に進化する環境では、現在の社会規範によく適応したエージェントは生存と増殖の可能性が高くなりますが、不適切に調整されたエージェントは時間の経過とともに減少します。
社会規範に合わせてエージェントを複数の観点から評価する実験結果は、EvolutionalAgent が一般的なタスクの習熟度を維持しながら、進化する社会規範に徐々にうまく適合する能力を備えていることを示しています。
エージェントの基盤としてさまざまなオープンソースおよびクローズドソースの LLM に対して実施された有効性テストも、私たちのアプローチの適用可能性を証明しています。

要約(オリジナル)

Agents based on Large Language Models (LLMs) are increasingly permeating various domains of human production and life, highlighting the importance of aligning them with human values. The current alignment of AI systems primarily focuses on passively aligning LLMs through human intervention. However, agents possess characteristics like receiving environmental feedback and self-evolution, rendering the LLM alignment methods inadequate. In response, we propose an evolutionary framework for agent evolution and alignment, named EvolutionaryAgent, which transforms agent alignment into a process of evolution and selection under the principle of survival of the fittest. In an environment where social norms continuously evolve, agents better adapted to the current social norms will have a higher probability of survival and proliferation, while those inadequately aligned dwindle over time. Experimental results assessing the agents from multiple perspectives in aligning with social norms demonstrate that EvolutionaryAgent possesses the capability to align progressively better with the evolving social norms while maintaining its proficiency in general tasks. Effectiveness tests conducted on various open and closed-source LLMs as the foundation for agents also prove the applicability of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google