Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning

要約

シーケンス モデリングのアプローチは、ロボットの模倣学習において有望な結果を示しています。
最近では、拡散モデルが動作クローニングに採用され、複雑なデータ分散をモデル化する際の優れた機能の恩恵を受けています。
この研究では、追加の自己教師あり学習 (SSL) 目標を使用して拡散ベースの視覚運動ポリシー学習を強化する方法であるクロスウェイ拡散を提案します。
標準の拡散ベースのポリシーは、視覚的観察やその他の低次元状態を条件としたランダム ノイズからアクション シーケンスを生成します。
逆拡散プロセスの中間表現から生の画像ピクセル (およびその他の状態情報) を再構築する新しいデコーダーを導入することでこれをさらに拡張し、SSL 損失を使用してモデルを共同でトレーニングします。
私たちの実験では、さまざまなシミュレートされた現実世界のロボット タスクにおけるクロスウェイ拡散の有効性が実証され、標準的な拡散ベースのポリシーに対するクロスウェイ拡散の利点が確認されました。
我々は、このような自己教師あり再構成により、特にデモンストレーションの習熟度が異なる場合に、政策学習をより適切に表現できることを実証します。

要約(オリジナル)

Sequence modeling approaches have shown promising results in robot imitation learning. Recently, diffusion models have been adopted for behavioral cloning, benefiting from their exceptional capabilities in modeling complex data distribution. In this work, we propose Crossway Diffusion, a method to enhance diffusion-based visuomotor policy learning by using an extra self-supervised learning (SSL) objective. The standard diffusion-based policy generates action sequences from random noise conditioned on visual observations and other low-dimensional states. We further extend this by introducing a new decoder that reconstructs raw image pixels (and other state information) from the intermediate representations of the reverse diffusion process, and train the model jointly using the SSL loss. Our experiments demonstrate the effectiveness of Crossway Diffusion in various simulated and real-world robot tasks, confirming its advantages over the standard diffusion-based policy. We demonstrate that such self-supervised reconstruction enables better representation for policy learning, especially when the demonstrations have different proficiencies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google