Multi-robot autonomous 3D reconstruction using Gaussian splatting with Semantic guidance

要約

陰的神経表現と3次元ガウススプラッティング（3DGS）は、シーン再構成に大きな可能性を示してきた。最近の研究では、タスク割り当て法によって自律的再構成への応用が広がっている。しかし、これらの手法は主に1台のロボットに限定されており、大規模なシーンの迅速な再構成は依然として困難である。さらに、表面の不確実性に基づくタスク駆動計画は、局所最適に陥りやすい。このため、我々は3DGSに基づく初の集中型マルチロボット自律3D再構成フレームワークを提案する。さらに、タスク生成の時間コストを削減し、再構成品質を向上させるために、オンラインオープンボキャブラリーセマンティックセグメンテーションを3DGSの表面の不確実性と統合し、インスタンスの不確実性が高い領域にビューサンプリングを集中させる。最後に、計画効率を確保しながら、再構成品質を向上させるモードとタスク割り当てによるマルチロボットコラボレーション戦略を開発する。我々の手法は、既存のマルチロボット手法と比較して、全ての計画手法の中で最も高い再構成品質と優れた計画効率を示す。本手法を複数のロボットに適用した結果、本手法が効率的にビューパスを計画し、シーンを高品質に再構成できることが示された。

要約(オリジナル)

Implicit neural representations and 3D Gaussian splatting (3DGS) have shown great potential for scene reconstruction. Recent studies have expanded their applications in autonomous reconstruction through task assignment methods. However, these methods are mainly limited to single robot, and rapid reconstruction of large-scale scenes remains challenging. Additionally, task-driven planning based on surface uncertainty is prone to being trapped in local optima. To this end, we propose the first 3DGS-based centralized multi-robot autonomous 3D reconstruction framework. To further reduce time cost of task generation and improve reconstruction quality, we integrate online open-vocabulary semantic segmentation with surface uncertainty of 3DGS, focusing view sampling on regions with high instance uncertainty. Finally, we develop a multi-robot collaboration strategy with mode and task assignments improving reconstruction quality while ensuring planning efficiency. Our method demonstrates the highest reconstruction quality among all planning methods and superior planning efficiency compared to existing multi-robot methods. We deploy our method on multiple robots, and results show that it can effectively plan view paths and reconstruct scenes with high quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL