RoboMM: All-in-One Multimodal Large Model for Robotic Manipulation

要約

近年、ロボット工学は、より大きなモデルと大規模なデータセットの統合を通じて大幅に進歩しました。
ただし、これらのモデルを 3D 空間インタラクションに適用し、データ収集コストを管理する際には課題が残っています。
これらの問題に対処するために、私たちは包括的なデータセットである RoboData とともにマルチモーダルロボット操作モデル RoboMM を提案します。
RoboMM は、カメラ パラメータと占有監視を通じて 3D 認識を強化します。
OpenFlamingo をベースとして構築されており、Modality-Isolation-Mask とマルチモーダル デコーダー ブロックが組み込まれており、モダリティの融合ときめ細かい知覚が向上しています。
RoboData は、いくつかのよく知られたデータセットを統合することで完全な評価システムを提供し、マルチビュー画像、カメラパラメーター、深度マップ、アクションの初の融合を実現し、空間アライメントにより多様なロボットデータセットからの包括的な学習を促進します。
RoboData と統一された物理空間を備えた RoboMM は、限られたデータやタスクの選択に焦点を当てるのではなく、複数のデータセット内のすべてのタスクにわたる同時評価を可能にする汎用的なポリシーです。
その設計により、ロボット操作のパフォーマンスが大幅に向上し、CALVIN の平均配列長が 1.7 から 3.3 に増加し、クロス実施形態機能が確保され、複数のデータセットにわたって最先端の結果が得られます。

要約(オリジナル)

In recent years, robotics has advanced significantly through the integration of larger models and large-scale datasets. However, challenges remain in applying these models to 3D spatial interactions and managing data collection costs. To address these issues, we propose the multimodal robotic manipulation model, RoboMM, along with the comprehensive dataset, RoboData. RoboMM enhances 3D perception through camera parameters and occupancy supervision. Building on OpenFlamingo, it incorporates Modality-Isolation-Mask and multimodal decoder blocks, improving modality fusion and fine-grained perception. RoboData offers the complete evaluation system by integrating several well-known datasets, achieving the first fusion of multi-view images, camera parameters, depth maps, and actions, and the space alignment facilitates comprehensive learning from diverse robotic datasets. Equipped with RoboData and the unified physical space, RoboMM is the generalist policy that enables simultaneous evaluation across all tasks within multiple datasets, rather than focusing on limited selection of data or tasks. Its design significantly enhances robotic manipulation performance, increasing the average sequence length on the CALVIN from 1.7 to 3.3 and ensuring cross-embodiment capabilities, achieving state-of-the-art results across multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google