Distributed NeRF Learning for Collaborative Multi-Robot Perception

要約

下流のロボットアプリケーションを可能にするためには、効果的な環境認識が不可欠です。
個々のロボット エージェントは、オクルージョンや可視性の制限の問題に直面することがよくありますが、マルチ エージェント システムでは、環境のより包括的なマッピング、より迅速なカバレッジ、および耐障害性の向上を実現できます。
この論文では、エージェントがシーンを表現するために配置された RGB 画像から神経放射フィールド (NeRF) を集合的に学習する、協調的なマルチエージェント知覚システムを提案します。
各エージェントはローカルの感覚データを処理し、学習した NeRF モデルのみを他のエージェントと共有することで、通信オーバーヘッドを削減します。
NeRF のメモリ フットプリントが低いことを考慮すると、このアプローチは、すべての生データを送信することが非現実的で、帯域幅が限られているロボット システムに適しています。
当社の分散学習フレームワークは、エージェントのローカル NeRF モデル全体で一貫性を確保し、統一されたシーン表現への収束を可能にします。
私たちは、困難な現実世界のシーンを含むデータセットに対する広範な実験を通じてこの手法の有効性を示し、データが処理のために中央サーバーに送信される環境の集中マッピングに匹敵するパフォーマンスを達成しました。
さらに、マルチエージェント学習には正則化の利点があり、入力ビューがまばらなシナリオでの幾何学的一貫性が向上することがわかりました。
このようなシナリオでは、マルチエージェント マッピングが集中トレーニングよりも優れたパフォーマンスを発揮できることを示します。

要約(オリジナル)

Effective environment perception is crucial for enabling downstream robotic applications. Individual robotic agents often face occlusion and limited visibility issues, whereas multi-agent systems can offer a more comprehensive mapping of the environment, quicker coverage, and increased fault tolerance. In this paper, we propose a collaborative multi-agent perception system where agents collectively learn a neural radiance field (NeRF) from posed RGB images to represent a scene. Each agent processes its local sensory data and shares only its learned NeRF model with other agents, reducing communication overhead. Given NeRF’s low memory footprint, this approach is well-suited for robotic systems with limited bandwidth, where transmitting all raw data is impractical. Our distributed learning framework ensures consistency across agents’ local NeRF models, enabling convergence to a unified scene representation. We show the effectiveness of our method through an extensive set of experiments on datasets containing challenging real-world scenes, achieving performance comparable to centralized mapping of the environment where data is sent to a central server for processing. Additionally, we find that multi-agent learning provides regularization benefits, improving geometric consistency in scenarios with sparse input views. We show that in such scenarios, multi-agent mapping can even outperform centralized training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google