Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

要約

テキストによる説明から画像を作成するのと同じくらい簡単に、望ましい動作の 1 つのデモンストレーションをプロンプトとして使用して、エージェントの制御ポリシーを生成できるでしょうか?
このペーパーでは、条件付き拡散モデルの力を利用して動作からポリシーを生成する新しいポリシー パラメーター ジェネレーターである Make-An-Agent を紹介します。
軌跡情報をエンコードする動作埋め込みに基づいて、ポリシー ジェネレーターは潜在パラメーター表現を合成し、これをポリシー ネットワークにデコードできます。
ポリシー ネットワークのチェックポイントとそれに対応する軌跡でトレーニングされた私たちの生成モデルは、複数のタスクで顕著な多用途性と拡張性を示し、目に見えないタスクで強力な一般化機能を備えており、入力として数ショットのデモンストレーションのみを使用して適切に実行されたポリシーを出力します。
さまざまな目的、動作、さらにはさまざまなロボット マニピュレーター間など、さまざまな領域やタスクにおけるその有効性と効率性を紹介します。
シミュレーションを超えて、Make-An-Agent によって生成されたポリシーを移動タスクの実世界のロボットに直接展開します。

要約(オリジナル)

Can we generate a control policy for an agent using just one demonstration of desired behaviors as a prompt, as effortlessly as creating an image from a textual description? In this paper, we present Make-An-Agent, a novel policy parameter generator that leverages the power of conditional diffusion models for behavior-to-policy generation. Guided by behavior embeddings that encode trajectory information, our policy generator synthesizes latent parameter representations, which can then be decoded into policy networks. Trained on policy network checkpoints and their corresponding trajectories, our generation model demonstrates remarkable versatility and scalability on multiple tasks and has a strong generalization ability on unseen tasks to output well-performed policies with only few-shot demonstrations as inputs. We showcase its efficacy and efficiency on various domains and tasks, including varying objectives, behaviors, and even across different robot manipulators. Beyond simulation, we directly deploy policies generated by Make-An-Agent onto real-world robots on locomotion tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google