DynamicGSG: Dynamic 3D Gaussian Scene Graphs for Environment Adaptation

要約

実際のシナリオでは、エージェントや人間の活動によって引き起こされる環境の変化により、ロボットがさまざまな長期的なタスクを実行することが非常に困難になります。
動的な環境を効果的に理解し、適応させるために、ロボットの知覚システムは、インスタンスレベルのセマンティック情報を抽出し、環境をきれいな方法で再構築し、環境の変化に応じてメモリ内の環境表現を更新する必要があります。
これらの課題に対処するために、\ textbf {dynamicgsg}を提案します。これは、ガウスのスプラッティングを活用するダイナミックで高忠実な、オープンボキャブラリーシーングラフ生成システムです。
私たちのシステムは、次の3つの重要なコンポーネントで構成されています。（1）高度なビジョンファンデーションモデルを使用して階層シーングラフを構築して、環境内のオブジェクトの空間的およびセマンティックな関係を表す、（2）ガウスマップを最適化するためのジョイント機能損失を設計する
再構築、および（3）長期的な環境適応のための実際の環境の変化に従って、ガウスのマップとシーングラフの更新。
実験とアブレーション研究は、セマンティックセグメンテーション、言語誘導オブジェクトの検索、および再構築品質の観点から、提案された方法のパフォーマンスと有効性を示しています。
さらに、実際の実験室環境でシステムの動的な更新機能を検証しました。
ソースコードは、〜\ href {https://github.com/geluzhou/dynamic-gsg} {https://github.com/geluzhou/dynamicgsg}でリリースされます。

要約(オリジナル)

In real-world scenarios, the environment changes caused by agents or human activities make it extremely challenging for robots to perform various long-term tasks. To effectively understand and adapt to dynamic environments, the perception system of a robot needs to extract instance-level semantic information, reconstruct the environment in a fine-grained manner, and update its environment representation in memory according to environment changes. To address these challenges, We propose \textbf{DynamicGSG}, a dynamic, high-fidelity, open-vocabulary scene graph generation system leveraging Gaussian splatting. Our system comprises three key components: (1) constructing hierarchical scene graphs using advanced vision foundation models to represent the spatial and semantic relationships of objects in the environment, (2) designing a joint feature loss to optimize the Gaussian map for incremental high-fidelity reconstruction, and (3) updating the Gaussian map and scene graph according to real environment changes for long-term environment adaptation. Experiments and ablation studies demonstrate the performance and efficacy of the proposed method in terms of semantic segmentation, language-guided object retrieval, and reconstruction quality. Furthermore, we have validated the dynamic updating capabilities of our system in real laboratory environments. The source code will be released at:~\href{https://github.com/GeLuzhou/Dynamic-GSG}{https://github.com/GeLuzhou/DynamicGSG}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google