DynamicGSG: Dynamic 3D Gaussian Scene Graphs for Environment Adaptation

要約

実際のシナリオでは、人間またはエージェントの活動によって引き起こされる環境の変化により、ロボットがさまざまな長期タスクを実行することが非常に困難になります。
最近の作品は通常、環境の変化と環境の微細な再構築の欠如に応じて、環境表現をメモリ内で更新できないため、動的環境を効果的に理解し、適応するのに苦労しています。
これらの課題に対処するために、Gaussian Splattingを活用する動的で高忠実な、オープンボキャブラリーシーングラフ構造システムであるDynamicGSGを提案します。
DynamicGSGは、高度なビジョン言語モデルを使用して階層シーングラフを構築して、環境内のオブジェクト間の空間的およびセマンティックな関係を表し、ガウスマップを最適化しながらガウスインスタンスグループを監督するように設計された共同機能損失を利用し、ガウスシーングラフをローカルに更新します。
長期的な環境適応のための実際の環境の変化。
実験とアブレーション研究は、セマンティックセグメンテーション、言語誘導オブジェクトの検索、および再構築品質の観点から、提案された方法のパフォーマンスと有効性を示しています。
さらに、実際の実験室環境でシステムの動的な更新機能を検証します。
ソースコードと補足実験資料は、〜\ href {https://github.com/geluzhou/dynamic-gsg} {https://github.com/geluzhou/dynamic-gsg}でリリースされます。

要約(オリジナル)

In real-world scenarios, environment changes caused by human or agent activities make it extremely challenging for robots to perform various long-term tasks. Recent works typically struggle to effectively understand and adapt to dynamic environments due to the inability to update their environment representations in memory according to environment changes and lack of fine-grained reconstruction of the environments. To address these challenges, we propose DynamicGSG, a dynamic, high-fidelity, open-vocabulary scene graph construction system leveraging Gaussian splatting. DynamicGSG builds hierarchical scene graphs using advanced vision language models to represent the spatial and semantic relationships between objects in the environments, utilizes a joint feature loss we designed to supervise Gaussian instance grouping while optimizing the Gaussian maps, and locally updates the Gaussian scene graphs according to real environment changes for long-term environment adaptation. Experiments and ablation studies demonstrate the performance and efficacy of our proposed method in terms of semantic segmentation, language-guided object retrieval, and reconstruction quality. Furthermore, we validate the dynamic updating capabilities of our system in real laboratory environments. The source code and supplementary experimental materials will be released at:~\href{https://github.com/GeLuzhou/Dynamic-GSG}{https://github.com/GeLuzhou/Dynamic-GSG}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google