ConceptFusion: Open-set Multimodal 3D Mapping

要約

環境の 3D マップの構築は、ロボットのナビゲーション、計画、およびシーン内のオブジェクトとの対話の中心となります。
セマンティック概念を 3D マップと統合する既存のアプローチのほとんどは、主に閉集合設定に限定されたままです。つまり、訓練時に事前に定義された有限の概念セットについてのみ推論することができます。
さらに、これらのマップは、クラス ラベルを使用するか、最近の作業ではテキスト プロンプトを使用してのみクエリできます。
これらの問題の両方に、ConceptFusion を使用して解決します。ConceptFusion は、(1) 基本的にオープンセットであり、概念の閉じたセットを超えた推論を可能にし、(ii) 本質的にマルチモーダルで、言語から 3D マップへの可能なさまざまなクエリを可能にするシーン表現です。
、画像、オーディオ、3D ジオメトリ、すべてが連携して動作します。
ConceptFusion は、インターネット規模のデータで事前トレーニングされた今日の基礎モデルのオープンセット機能を活用して、自然言語、画像、音声などのモダリティ全体で概念を推論します。
従来の SLAM およびマルチビュー フュージョン アプローチを介して、ピクセル位置合わせされたオープンセット フィーチャを 3D マップに融合できることを実証します。
これにより、追加のトレーニングや微調整を必要とせず、効果的なゼロショット空間推論が可能になり、教師ありアプローチよりもロングテールの概念が保持され、3D IoU で 40% 以上のマージンで優れています。
私たちは、多数の実世界のデータセット、シミュレートされた家庭環境、実世界の卓上操作タスク、自動運転プラットフォームで ConceptFusion を広範囲に評価しています。
基礎モデルと 3D オープンセット マルチモーダル マッピングをブレンドするための新しい手段を紹介します。
詳細については、プロジェクト ページ https://concept-fusion.github.io にアクセスするか、5 分間の説明ビデオ https://www.youtube.com/watch?v=rkXgws8fiDs をご覧ください。

要約(オリジナル)

Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approaches that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is (1) fundamentally open-set, enabling reasoning beyond a closed set of concepts and (ii) inherently multimodal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today’s foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping. For more information, visit our project page https://concept-fusion.github.io or watch our 5-minute explainer video https://www.youtube.com/watch?v=rkXgws8fiDs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google