Pixel Motion as Universal Representation for Robot Control

要約

ピクセルモーション予測を中間表現として使用するデュアルシステムアーキテクチャとして構成されたビジョン言語アクションフレームワークであるLangtomoを提示します。
画像拡散モデルである高レベルのシステム2は、単一のフレームからテキストコンディショニングされたピクセルモーションシーケンスを生成し、ロボット制御をガイドします。
Pixel Motion-Universal、解釈可能、およびモーション中心の表現は、ビデオスケールのビデオキャプションデータで拡散モデルトレーニングを可能にし、自己補助的な方法でビデオから抽出されます。
生成されたピクセルの動きを学んだ普遍的な表現として処理すると、低レベルのシステム1モジュールは、これらを動作マッピング関数を介してロボットアクションに変換します。
System 2は、まばらな時間間隔で適用される高レベルのポリシーとして動作しますが、システム1は密な時間間隔で低レベルポリシーとして機能します。
この階層的な分離は、言語、動き、およびアクションのギャップを埋めるために、監視されていない設定と監視された設定の両方で、柔軟でスケーラブルで一般化可能なロボット制御を可能にします。
視覚化については、https://kahnchana.github.io/langtomoのチェックアウト。

要約(オリジナル)

We present LangToMo, a vision-language-action framework structured as a dual-system architecture that uses pixel motion forecasts as intermediate representations. Our high-level System 2, an image diffusion model, generates text-conditioned pixel motion sequences from a single frame to guide robot control. Pixel motion-a universal, interpretable, and motion-centric representation-can be extracted from videos in a self-supervised manner, enabling diffusion model training on web-scale video-caption data. Treating generated pixel motion as learned universal representations, our low level System 1 module translates these into robot actions via motion-to-action mapping functions, which can be either hand-crafted or learned with minimal supervision. System 2 operates as a high-level policy applied at sparse temporal intervals, while System 1 acts as a low-level policy at dense temporal intervals. This hierarchical decoupling enables flexible, scalable, and generalizable robot control under both unsupervised and supervised settings, bridging the gap between language, motion, and action. Checkout https://kahnchana.github.io/LangToMo for visualizations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google