EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents

要約

インタラクションを介した身体的学習のための最近の SOTA アプローチは、環境内の次のステップを決定するエージェントとして大規模言語モデル (LLM) を直接採用しています。
LLM エージェントは世界の知識と推論能力により、強化学習 (RL) に基づいた以前の小規模なエージェントよりも優れたパフォーマンスを達成します。
ただし、LLM を頻繁に呼び出すと時間がかかり、コストがかかります。
LLM をエージェントとして直接雇用する代わりに、LLM の推論機能を使用してトレーニング環境を適応的に作成し、小規模な RL エージェントが苦手な有用なスキルを学習できるようにすることはできますか?
私たちは、この問題に対処するための新しいフレームワークである EnvGen を提案します。
まず LLM に、エージェントが学習すべきタスクの説明とシミュレータの目的を与えることでトレーニング環境を生成するよう促し、次に一連の環境構成 (たとえば、さまざまな地形、エージェントに最初に与えられるアイテムなど) を生成するように依頼します。
次に、元の環境と LLM で生成された環境が混在した環境で小規模な RL エージェントをトレーニングします。
次に、エージェントのパフォーマンスの形で LLM にフィードバックを提供することで、LLM が生成された環境を継続的に適応させ、エージェントが苦手とするスキルを段階的に改善できるようにします。
Crafter 環境と Heist 環境での包括的な実験により、EnvGen の有用性を実証します。
EnvGen でトレーニングされた小規模な RL エージェントは、GPT-4 エージェントを含む SOTA メソッドよりも優れたパフォーマンスを発揮し、長期的なタスクを大幅に高速に学習できることがわかりました。
また、LLM を使用して環境を動的に適応させることは、カリキュラム学習アプローチよりも優れたパフォーマンスを発揮し、時間の経過とともに RL エージェントの弱いスキルを向上させるために環境がどのように適応されるかを示します。
さらに、EnvGen は、LLM エージェントが数千回の呼び出しを必要とするのに対し、少数の LLM 呼び出し (たとえば、合計 4 回) しか使用しないため、大幅に効率的です。
最後に、EnvGen 設計の選択に関する詳細なアブレーション研究を紹介します。

要約(オリジナル)

Recent SOTA approaches for embodied learning via interaction directly employ large language models (LLMs) as agents to determine the next steps in an environment. Due to their world knowledge and reasoning capabilities, LLM agents achieve stronger performance than previous smaller agents based on reinforcement learning (RL); however, frequently calling LLMs is slow and expensive. Instead of directly employing LLMs as agents, can we use LLMs’ reasoning capabilities to adaptively create training environments to help smaller RL agents learn useful skills that they are weak at? We propose EnvGen, a novel framework to address this question. We first prompt an LLM to generate training environments by giving it the task description and simulator objectives that the agents should learn and then asking it to generate a set of environment configurations (e.g., different terrains, items initially given to agents, etc.). Next, we train a small RL agent in a mixture of the original and LLM-generated environments. Then, we enable the LLM to continuously adapt the generated environments to progressively improve the skills that the agent is weak at, by providing feedback to the LLM in the form of the agent’s performance. We demonstrate the usefulness of EnvGen with comprehensive experiments in Crafter and Heist environments. We find that a small RL agent trained with EnvGen can outperform SOTA methods, including a GPT-4 agent, and learns long-horizon tasks significantly faster. We also show that using an LLM to adapt environments dynamically outperforms curriculum learning approaches and how the environments are adapted to help improve RL agents’ weaker skills over time. Additionally, EnvGen is substantially more efficient as it only uses a small number of LLM calls (e.g., 4 in total), whereas LLM agents require thousands of calls. Lastly, we present detailed ablation studies for EnvGen design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google