EDGI: Equivariant Diffusion for Planning with Embodied Agents

要約

身体化されたエージェントは構造化された世界で動作し、空間的、時間的、順列対称性を持つタスクを解決することがよくあります。
計画およびモデルベースの強化学習 (MBRL) 用のほとんどのアルゴリズムは、この豊富な幾何学的構造を考慮していないため、サンプルの非効率性と不十分な一般化につながります。
空間対称群 SE(3)、離散時間変換群 Z、およびオブジェクト順列群 Sn の積に関して等変である、MBRL および計画用のアルゴリズムである相互作用生成のための等変拡散器 (EDGI) を導入します。
。
EDGI は、ワールド モデルの学習とその中での計画の両方を条件付き生成モデリング問題として扱い、オフライン軌道データセットで拡散モデルをトレーニングする点で Diffuser フレームワーク (Janner et al.、2022) に従います。
複数の表現をサポートする新しい SE(3)xZxSn 等変拡散モデルを導入します。
このモデルを計画ループに統合します。そこでは、条件付けと分類子のガイダンスにより、必要に応じて特定のタスクの対称性をソフトに破ることができます。
オブジェクト操作およびナビゲーション タスクでは、EDGI は非等変モデルよりもサンプル効率が大幅に高く、対称グループ全体でより適切に一般化されます。

要約(オリジナル)

Embodied agents operate in a structured world, often solving tasks with spatial, temporal, and permutation symmetries. Most algorithms for planning and model-based reinforcement learning (MBRL) do not take this rich geometric structure into account, leading to sample inefficiency and poor generalization. We introduce the Equivariant Diffuser for Generating Interactions (EDGI), an algorithm for MBRL and planning that is equivariant with respect to the product of the spatial symmetry group SE(3), the discrete-time translation group Z, and the object permutation group Sn. EDGI follows the Diffuser framework (Janner et al., 2022) in treating both learning a world model and planning in it as a conditional generative modeling problem, training a diffusion model on an offline trajectory dataset. We introduce a new SE(3)xZxSn-equivariant diffusion model that supports multiple representations. We integrate this model in a planning loop, where conditioning and classifier guidance let us softly break the symmetry for specific tasks as needed. On object manipulation and navigation tasks, EDGI is substantially more sample efficient and generalizes better across the symmetry group than non-equivariant models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google