MULAN-WC: Multi-Robot Localization Uncertainty-aware Active NeRF with Wireless Coordination

要約

この論文では、ロボットと Neural Radiance Fields (NeRF) 間の無線信号ベースの調整を活用する、新しいマルチロボット 3D 再構成フレームワークである MULAN-WC について説明します。
私たちのアプローチは、ロボット間の姿勢推定、位置特定の不確実性の定量化、アクティブな最良の次のビューの選択など、マルチロボット 3D 再構築における主要な課題に対処します。
無線到達角度 (AoA) と測距測定を使用してロボット間の相対的な姿勢を推定する方法を紹介します。また、これらの姿勢推定の無線位置特定に埋め込まれた不確実性を定量化し、NeRF トレーニング損失を軽減するために組み込む方法を紹介します。
不正確なカメラポーズの影響。
さらに、3D 再構成を改善するために次善のビューを決定する際にロボットのポーズの不確実性を考慮したアクティブなビュー選択アプローチを提案し、インテリジェントなビュー選択を通じてより迅速な収束を可能にします。
合成データセットと現実世界のデータセットの両方に対する広範な実験により、理論と実際のフレームワークの有効性が実証されています。
MULAN-WC は、ワイヤレス調整と位置の不確実性を認識したトレーニングを活用して、グラウンド トゥルース カメラのポーズの適用に近い高品質の 3D 再構築を実現できます。
さらに、新しいビューから得られる情報を定量化することで、新しいビューの位置をロボットに推奨することで、段階的にキャプチャされた画像による一貫したレンダリング品質の向上が可能になります。
私たちのハードウェア実験では、実際のロボット システムに MULAN-WC を導入する実用性を示しています。

要約(オリジナル)

This paper presents MULAN-WC, a novel multi-robot 3D reconstruction framework that leverages wireless signal-based coordination between robots and Neural Radiance Fields (NeRF). Our approach addresses key challenges in multi-robot 3D reconstruction, including inter-robot pose estimation, localization uncertainty quantification, and active best-next-view selection. We introduce a method for using wireless Angle-of-Arrival (AoA) and ranging measurements to estimate relative poses between robots, as well as quantifying and incorporating the uncertainty embedded in the wireless localization of these pose estimates into the NeRF training loss to mitigate the impact of inaccurate camera poses. Furthermore, we propose an active view selection approach that accounts for robot pose uncertainty when determining the next-best views to improve the 3D reconstruction, enabling faster convergence through intelligent view selection. Extensive experiments on both synthetic and real-world datasets demonstrate the effectiveness of our framework in theory and in practice. Leveraging wireless coordination and localization uncertainty-aware training, MULAN-WC can achieve high-quality 3d reconstruction which is close to applying the ground truth camera poses. Furthermore, the quantification of the information gain from a novel view enables consistent rendering quality improvement with incrementally captured images by commending the robot the novel view position. Our hardware experiments showcase the practicality of deploying MULAN-WC to real robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google