SIREN: Semantic, Initialization-Free Registration of Multi-Robot Gaussian Splatting Maps

要約

マルチロボットガウススプラッティング（GSPLAT）マップの登録のためにサイレンを提示し、ローカルサブマップの初期化または融合のためにカメラのポーズ、画像、およびインターマップ変換にアクセスしていません。
これらの機能を実現するために、サイレンは、マルチロボットGSPLATマップの厳格な登録パイプラインを導き出すために、3つの重要な方法でセマンティクスの汎用性と堅牢性を活用します。
まず、Sirenはセマンティクスを利用して、登録問題がより適切に提起されるローカルマップの機能が豊富な領域を特定し、以前の作業で一般的に必要な初期化の必要性を排除します。
第二に、サイレンは、堅牢なセマンティック機能を使用してローカルマップのガウス間の候補の対応を特定し、堅牢な幾何学的最適化の基礎を構成し、ローカルマップから抽出された3Dガウスのプリミティブを粗く整列させます。
第三に、この重要なステップにより、サブマップ間の変換の後続の測光精製が可能になります。サイレンは、GSPLATマップの新規ビュー合成とセマンティクスベースの画像フィルターを活用して、高精度の非剛性変換を計算して、高い高度の非剛性変換を計算します。
– フィデリティ融合マップ。
さまざまな現実世界のデータセット、特にマニピュレーター、ドローン、4倍などの最も広く使用されているロボットハードウェアプラットフォームで競合するベースラインと比較して、サイレンの優れた性能を示します。
実験では、サイレンは、競合する方法が苦労している最も挑戦的なシーンで、約90倍の小さな回転エラー、300倍の小さな翻訳エラー、44倍の小さなスケールエラーを達成します。
レビュープロセスの後、コードをリリースし、プロジェクトページへのリンクを提供します。

要約(オリジナル)

We present SIREN for registration of multi-robot Gaussian Splatting (GSplat) maps, with zero access to camera poses, images, and inter-map transforms for initialization or fusion of local submaps. To realize these capabilities, SIREN harnesses the versatility and robustness of semantics in three critical ways to derive a rigorous registration pipeline for multi-robot GSplat maps. First, SIREN utilizes semantics to identify feature-rich regions of the local maps where the registration problem is better posed, eliminating the need for any initialization which is generally required in prior work. Second, SIREN identifies candidate correspondences between Gaussians in the local maps using robust semantic features, constituting the foundation for robust geometric optimization, coarsely aligning 3D Gaussian primitives extracted from the local maps. Third, this key step enables subsequent photometric refinement of the transformation between the submaps, where SIREN leverages novel-view synthesis in GSplat maps along with a semantics-based image filter to compute a high-accuracy non-rigid transformation for the generation of a high-fidelity fused map. We demonstrate the superior performance of SIREN compared to competing baselines across a range of real-world datasets, and in particular, across the most widely-used robot hardware platforms, including a manipulator, drone, and quadruped. In our experiments, SIREN achieves about 90x smaller rotation errors, 300x smaller translation errors, and 44x smaller scale errors in the most challenging scenes, where competing methods struggle. We will release the code and provide a link to the project page after the review process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google