Towards Unified Alignment Between Agents, Humans, and Environment

要約

基礎モデルの急速な進歩により、基礎モデルの普遍的な機能を活用して推論、意思決定、環境との相互作用を行う自律エージェントが繁栄しました。
ただし、複雑で現実的な環境で動作する場合、エージェントの有効性は依然として限定的です。
この研究では、$\mathbf{A}$gents ($\mathbf{UA}^2$) のための $\mathbf{U}$nified $\mathbf{A}$lignment の原則を導入します。
エージェントを人間の意図、環境力学、金銭的予算の制限などの自己制約と同時に調整すること。
$\mathbf{UA}^2$ の観点から、現在のエージェント研究をレビューし、既存のエージェント ベンチマークと手法候補で無視されている要素を強調します。
また、意図を示すユーザー プロファイル、複雑な環境力学に合わせたパーソナライズされた再ランキング、自己制約を反映するランタイム コスト統計などの現実的な機能を WebShop に導入することで、概念実証研究も実施します。
次に、$\mathbf{UA}^2$ の原則に従ってエージェントの初期設計を提案し、改良された WebShop のいくつかの候補ベースラインでそのパフォーマンスをベンチマークします。
広範な実験結果は、$\mathbf{UA}^2$ の原理の重要性をさらに証明しています。
私たちの研究は、一般的な問題解決能力を向上させた自律エージェント研究の次のステップに光を当てます。

要約(オリジナル)

The rapid progress of foundation models has led to the prosperity of autonomous agents, which leverage the universal capabilities of foundation models to conduct reasoning, decision-making, and environmental interaction. However, the efficacy of agents remains limited when operating in intricate, realistic environments. In this work, we introduce the principles of $\mathbf{U}$nified $\mathbf{A}$lignment for $\mathbf{A}$gents ($\mathbf{UA}^2$), which advocate for the simultaneous alignment of agents with human intentions, environmental dynamics, and self-constraints such as the limitation of monetary budgets. From the perspective of $\mathbf{UA}^2$, we review the current agent research and highlight the neglected factors in existing agent benchmarks and method candidates. We also conduct proof-of-concept studies by introducing realistic features to WebShop, including user profiles to demonstrate intentions, personalized reranking for complex environmental dynamics, and runtime cost statistics to reflect self-constraints. We then follow the principles of $\mathbf{UA}^2$ to propose an initial design of our agent, and benchmark its performance with several candidate baselines in the retrofitted WebShop. The extensive experimental results further prove the importance of the principles of $\mathbf{UA}^2$. Our research sheds light on the next steps of autonomous agent research with improved general problem-solving abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google