STAMICS: Splat, Track And Map with Integrated Consistency and Semantics for Dense RGB-D SLAM

要約

同時ローカリゼーションとマッピング（SLAM）は、ロボット工学の重要なタスクであり、システムが複雑な環境を自律的にナビゲートして理解できるようにします。
現在のSLAMアプローチは、マッピングとローカリゼーションのための幾何学的な手がかりに主に依存していますが、特に動的または密集したシーンでは、セマンティックの一貫性を確保できないことがよくあります。
この制限に対処するために、セマンティック情報を3Dガウス表現と統合して、ローカリゼーションとマッピングの精度の両方を強化する新しい方法であるStamicsを紹介します。
スタミックは、3Dガウスベースの忠実度再構成のための3Dガウスベースのシーン表現、時間的セマンティックの一貫性を強化するグラフベースのクラスタリング手法、および目に見えないオブジェクトの分類を可能にするオープンポンシャルシステムの3つの重要なコンポーネントで構成されています。
大規模な実験では、スタミックがカメラのポーズの推定とマップの品質を大幅に改善し、再建エラーを減らしながら最先端の方法を上回ることが示されています。
コードは公開されます。

要約(オリジナル)

Simultaneous Localization and Mapping (SLAM) is a critical task in robotics, enabling systems to autonomously navigate and understand complex environments. Current SLAM approaches predominantly rely on geometric cues for mapping and localization, but they often fail to ensure semantic consistency, particularly in dynamic or densely populated scenes. To address this limitation, we introduce STAMICS, a novel method that integrates semantic information with 3D Gaussian representations to enhance both localization and mapping accuracy. STAMICS consists of three key components: a 3D Gaussian-based scene representation for high-fidelity reconstruction, a graph-based clustering technique that enforces temporal semantic consistency, and an open-vocabulary system that allows for the classification of unseen objects. Extensive experiments show that STAMICS significantly improves camera pose estimation and map quality, outperforming state-of-the-art methods while reducing reconstruction errors. Code will be public available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google