CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning

要約

インターネットビデオからの潜在的な動きを学ぶことは、ジェネラリストのロボットを構築するために重要です。
ただし、既存の個別の潜在アクション方法は、情報の損失に悩まされ、複雑で微調整されたダイナミクスとの闘いに悩まされています。
私たちは、多様なインターネットスケールのビデオからより有益な連続運動表現を学ぶことを目的としたCOMOを提案します。
COMOは、モデルの崩壊を防ぎ、静的な外観ノイズを抑制し、効果的にショートカット学習の問題を抑制し、初期の時間的特徴の違いメカニズムを採用しています。
さらに、情報ボトルネックの原則に導かれ、潜在的な動きを埋め込む次元を埋め込み、十分なアクション関連情報を保持することと、アクション傍観的な外観ノイズの包含を最小限に抑えることとのバランスを確保します。
さらに、動きをより堅牢かつ手頃な価格で評価し、動き学習方法のガイドを導くための2つの新しいメトリックも紹介します。
重大なことに、COMOは強力なゼロショットの一般化を示し、以前に見えなかったビデオドメインの連続的な擬似アクションを生成できるようにします。
この機能は、限られたロボットデータで潜在的に増強される可能性のある、さまざまなアクションレスビデオデータセット（特に人間のデモビデオなど）から派生した擬似アクションを使用して、統一されたポリシー共同学習を促進します。
広範な実験では、コモの擬似アクションと共同訓練されたポリシーが、シミュレートされた現実世界の設定における拡散アーキテクチャと自己回帰アーキテクチャの両方で優れた性能を達成することが示されています。

要約(オリジナル)

Learning latent motion from Internet videos is crucial for building generalist robots. However, existing discrete latent action methods suffer from information loss and struggle with complex and fine-grained dynamics. We propose CoMo, which aims to learn more informative continuous motion representations from diverse, internet-scale videos. CoMo employs a early temporal feature difference mechanism to prevent model collapse and suppress static appearance noise, effectively discouraging shortcut learning problem. Furthermore, guided by the information bottleneck principle, we constrain the latent motion embedding dimensionality to achieve a better balance between retaining sufficient action-relevant information and minimizing the inclusion of action-irrelevant appearance noise. Additionally, we also introduce two new metrics for more robustly and affordably evaluating motion and guiding motion learning methods development: (i) the linear probing MSE of action prediction, and (ii) the cosine similarity between past-to-current and future-to-current motion embeddings. Critically, CoMo exhibits strong zero-shot generalization, enabling it to generate continuous pseudo actions for previously unseen video domains. This capability facilitates unified policy joint learning using pseudo actions derived from various action-less video datasets (such as cross-embodiment videos and, notably, human demonstration videos), potentially augmented with limited labeled robot data. Extensive experiments show that policies co-trained with CoMo pseudo actions achieve superior performance with both diffusion and autoregressive architectures in simulated and real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google