HAMMER: Heterogeneous, Multi-Robot Semantic Gaussian Splatting

要約

3D Gaussian Splattingは、表現力豊かなシーンの再構築を提供し、幅広い視覚、幾何学、意味情報をモデル化します。
ただし、複数のロボットとデバイスからストリーミングされたデータを使用した効率的なリアルタイムマップ再構成は依然として課題です。
そのために、私たちは、初期ロボットの位置の事前知識なしで非同期的な知識なしで非同期ロボットデータストリームから3D、メートルコというマップを生成するために広く利用可能なROS通信インフラストラクチャを活用するサーバーベースのコラボレーションガウススプラッティング方法であるハンマーを提案します。
ポーズ推定器。
ハンマーは、（i）ローカルスラムのポーズと画像データをグローバルフレームに変換するフレームアライメントモジュールで構成されており、以前の相対ポーズ知識を必要としません。
ハンマーは混合知覚モードを処理し、さまざまなデバイス間の画像前処理のバリエーションを自動的に調整し、クリップセマンティックコードを3Dシーンに蒸留して、オープンボキャブラリーの言語クエリを蒸留します。
現実世界の実験では、ハンマーは競合するベースラインと比較してより高い忠実度マップ（2倍）を作成し、セマンティックの目標条件付きナビゲーション（「Go go to the Couch」などのダウンストリームタスクに役立ちます。
hammer-project.github.ioで入手可能なコンテンツ。

要約(オリジナル)

3D Gaussian Splatting offers expressive scene reconstruction, modeling a broad range of visual, geometric, and semantic information. However, efficient real-time map reconstruction with data streamed from multiple robots and devices remains a challenge. To that end, we propose HAMMER, a server-based collaborative Gaussian Splatting method that leverages widely available ROS communication infrastructure to generate 3D, metric-semantic maps from asynchronous robot data-streams with no prior knowledge of initial robot positions and varying on-device pose estimators. HAMMER consists of (i) a frame alignment module that transforms local SLAM poses and image data into a global frame and requires no prior relative pose knowledge, and (ii) an online module for training semantic 3DGS maps from streaming data. HAMMER handles mixed perception modes, adjusts automatically for variations in image pre-processing among different devices, and distills CLIP semantic codes into the 3D scene for open-vocabulary language queries. In our real-world experiments, HAMMER creates higher-fidelity maps (2x) compared to competing baselines and is useful for downstream tasks, such as semantic goal-conditioned navigation (e.g., “go to the couch’). Accompanying content available at hammer-project.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google