Di-NeRF: Distributed NeRF for Collaborative Learning with Unknown Relative Poses

要約

未知の環境に対する共同マッピングは、単一のロボットよりも高速かつ堅牢に行うことができる。しかし、協調的アプローチには、スケーラブルで通信の問題に対処できる分散パラダイムが必要である。本研究では、ロボットのグループがニューラル放射場（Neural Radiance Field: NeRF）のパラメータを集合的に最適化することを可能にする完全分散アルゴリズムを提案する。このアルゴリズムでは、各ロボットの学習したNeRFパラメータをメッシュネットワーク上で通信する。さらに、すべてのロボットの相対姿勢は、モデルパラメータとともに共同で最適化され、未知の相対カメラ姿勢でのマッピングを可能にする。複数のNeRFから最適化された微分可能でロバストな3D再構成により、マルチロボットシステムが恩恵を受けることを示す。実世界と合成データを用いた実験により、提案アルゴリズムの効率性を実証する。実験のビデオと補足資料(https://sites.google.com/view/di-nerf/home)はプロジェクトのウェブサイトを参照。

要約(オリジナル)

Collaborative mapping of unknown environments can be done faster and more robustly than a single robot. However, a collaborative approach requires a distributed paradigm to be scalable and deal with communication issues. This work presents a fully distributed algorithm enabling a group of robots to collectively optimize the parameters of a Neural Radiance Field (NeRF). The algorithm involves the communication of each robot’s trained NeRF parameters over a mesh network, where each robot trains its NeRF and has access to its own visual data only. Additionally, the relative poses of all robots are jointly optimized alongside the model parameters, enabling mapping with unknown relative camera poses. We show that multi-robot systems can benefit from differentiable and robust 3D reconstruction optimized from multiple NeRFs. Experiments on real-world and synthetic data demonstrate the efficiency of the proposed algorithm. See the website of the project for videos of the experiments and supplementary material(https://sites.google.com/view/di-nerf/home).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL