Aligning Agents like Large Language Models

要約

高次元の感覚情報に基づいて、複雑な 3D 環境でエージェントが希望どおりに行動できるようにトレーニングすることは困難です。
人間の多様な行動からの模倣学習は、賢明な行動事前分布を使用してエージェントをトレーニングするためのスケーラブルなアプローチを提供しますが、そのようなエージェントは展開時に目的の特定の行動を実行しない可能性があります。
この問題に対処するために、模倣学習エージェントの望ましくない動作と、調整されていない大規模言語モデル (LLM) の役に立たない応答との間の類似点を描きます。
次に、LLM を整列させる手順を、ピクセルから 3D 環境でエージェントを整列させるのにどのように適用できるかを調査します。
私たちの分析では、人間の行動分布がマルチモーダルである最新のコンソール ゲームの学術的に説明する部分を利用しますが、エージェントにはこの行動の単一モードを模倣してもらいたいと考えています。
このアプローチをエージェントのトレーニングにうまく適用するための洞察とアドバイスを提供しながら、エージェントが目的のモードを一貫して実行できるように調整できることを実証します。
プロジェクトの Web ページ ( https://adamjelley.github.io/aligning-agents-like-llms )。

要約(オリジナル)

Training agents to behave as desired in complex 3D environments from high-dimensional sensory information is challenging. Imitation learning from diverse human behavior provides a scalable approach for training an agent with a sensible behavioral prior, but such an agent may not perform the specific behaviors of interest when deployed. To address this issue, we draw an analogy between the undesirable behaviors of imitation learning agents and the unhelpful responses of unaligned large language models (LLMs). We then investigate how the procedure for aligning LLMs can be applied to aligning agents in a 3D environment from pixels. For our analysis, we utilize an academically illustrative part of a modern console game in which the human behavior distribution is multi-modal, but we want our agent to imitate a single mode of this behavior. We demonstrate that we can align our agent to consistently perform the desired mode, while providing insights and advice for successfully applying this approach to training agents. Project webpage at https://adamjelley.github.io/aligning-agents-like-llms .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google