Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

要約

多様なロボットデータセットでトレーニングされた最近のビジョン言語アクションモデルは、限られた領域内データを持つ有望な一般化機能を示しますが、コンパクトなアクションヘッドへの依存は、離散化または連続的なアクションが不均一なアクション空間への適応性を制約します。
統一されたマルチモーダル拡散プロセスを介して、変圧器アーキテクチャを活用して連続的なアクションシーケンスを直接除去するスケーラブルなフレームワークであるDITAを提示します。
DITAは、浅いネットワークを介して融合した埋め込みを除去する以前の方法から出発し、コンテキスト内の条件付けを採用します。歴史的観察からの除去されたアクションと生の視覚トークンとの間の細かい整列を可能にします。
この設計は、アクションデルタと環境ニュアンスを明示的にモデル化します。
Transformerのスケーラビリティとともに拡散アクション除去機をスケーリングすることにより、DITAは多様なカメラの視点、観察シーン、タスク、およびアクションスペースに横断的なデータセットを効果的に統合します。
このような相乗効果は、さまざまな分散に対する堅牢性を高め、長老タスクの実行の成功を促進します。
大規模なベンチマーク全体の評価は、シミュレーションにおける最先端または比較パフォーマンスを示しています。
特に、DITAは、サードパーソンカメラの入力のみを使用して、10ショットのFinetuningを通じて、環境変動と複雑な長距離タスクに対する堅牢な現実世界の適応を実現します。
このアーキテクチャは、ジェネラリストのロボット政策学習のための多目的で軽量でオープンソースのベースラインを確立しています。
プロジェクトページ：https：//robodita.github.io/

要約(オリジナル)

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning — enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer’s scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google