A Practical Guide for Incorporating Symmetry in Diffusion Policy

要約

最近、政策学習のための同等のニューラルネットワークは、サンプルの効率と一般化の有望な改善を示していますが、それらの幅広い採用は、実装の複雑さのために大きな障壁に直面しています。
等量のアーキテクチャには通常、特殊な数学的定式化とカスタムネットワーク設計が必要であり、拡散ベースのモデルなどの最新のポリシーフレームワークと統合する際に大きな課題を提起します。
このホワイトペーパーでは、完全な等量設計のオーバーヘッドなしに対称性の利点を拡散ポリシーに組み込むための多くの簡単かつ実用的なアプローチを探ります。
具体的には、（i）相対的な軌跡アクションと目の握手の知覚を介した不変表現、（ii）等式のビジョンエンコーダーの統合、および（iii）フレーム平均化を使用した前提条件のエンコーダーとの対称特徴抽出を調査します。
まず、目の中での知覚と相対的またはデルタのアクションパラメーター化を組み合わせることで、固有のSE（3）不変性が得られ、したがって政策の一般化が改善されることを証明します。
次に、拡散ポリシーに対称性を統合するためのこれらの設計選択に関する系統的な実験的研究を実施し、等しい特徴抽出を伴う不変表現がポリシーのパフォーマンスを大幅に改善すると結論付けます。
私たちの方法は、実装を大幅に簡素化しながら、完全に等しいアーキテクチャと同等またはそれを超えるパフォーマンスを達成します。

要約(オリジナル)

Recently, equivariant neural networks for policy learning have shown promising improvements in sample efficiency and generalization, however, their wide adoption faces substantial barriers due to implementation complexity. Equivariant architectures typically require specialized mathematical formulations and custom network design, posing significant challenges when integrating with modern policy frameworks like diffusion-based models. In this paper, we explore a number of straightforward and practical approaches to incorporate symmetry benefits into diffusion policies without the overhead of full equivariant designs. Specifically, we investigate (i) invariant representations via relative trajectory actions and eye-in-hand perception, (ii) integrating equivariant vision encoders, and (iii) symmetric feature extraction with pretrained encoders using Frame Averaging. We first prove that combining eye-in-hand perception with relative or delta action parameterization yields inherent SE(3)-invariance, thus improving policy generalization. We then perform a systematic experimental study on those design choices for integrating symmetry in diffusion policies, and conclude that an invariant representation with equivariant feature extraction significantly improves the policy performance. Our method achieves performance on par with or exceeding fully equivariant architectures while greatly simplifying implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google