Di-NeRF: Distributed NeRF for Collaborative Learning with Relative Pose Refinement

要約

未知の環境の共同マッピングは、単一のロボットよりも高速かつ堅牢に実行できます。
ただし、協調的なアプローチには、スケーラブルであり、通信の問題に対処できる分散パラダイムが必要です。
この研究では、ロボットのグループが神経放射フィールド (NeRF) のパラメーターを集合的に最適化できるようにする完全分散アルゴリズムを紹介します。
このアルゴリズムには、メッシュ ネットワークを介した各ロボットの訓練された NeRF パラメーターの通信が含まれます。各ロボットは NeRF を訓練し、独自の視覚データのみにアクセスします。
さらに、すべてのロボットの相対姿勢がモデル パラメータとともに共同で最適化されるため、精度の低い相対カメラ姿勢でのマッピングが可能になります。
マルチロボット システムが、複数の NeRF から最適化された微分可能でロバストな 3D 再構築の恩恵を受けることができることを示します。
現実世界のデータと合成データの実験により、提案されたアルゴリズムの効率が実証されています。
実験のビデオと補足資料については、プロジェクトの Web サイト (https://sites.google.com/view/di-nerf/home) をご覧ください。

要約(オリジナル)

Collaborative mapping of unknown environments can be done faster and more robustly than a single robot. However, a collaborative approach requires a distributed paradigm to be scalable and deal with communication issues. This work presents a fully distributed algorithm enabling a group of robots to collectively optimize the parameters of a Neural Radiance Field (NeRF). The algorithm involves the communication of each robot’s trained NeRF parameters over a mesh network, where each robot trains its NeRF and has access to its own visual data only. Additionally, the relative poses of all robots are jointly optimized alongside the model parameters, enabling mapping with less accurate relative camera poses. We show that multi-robot systems can benefit from differentiable and robust 3D reconstruction optimized from multiple NeRFs. Experiments on real-world and synthetic data demonstrate the efficiency of the proposed algorithm. See the website of the project for videos of the experiments and supplementary material (https://sites.google.com/view/di-nerf/home).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google