Federated Neural Radiance Fields

要約

タイトル：Federated Neural Radiance Fields

要約：

-NeRFは、正確な3Dモデリングを行う能力があるため、シーン表現への応用が可能である。
-以前のアプローチでは、すべてのトレーニング画像がトレーニング用の1つのコンピュータノードで利用可能であると仮定する集中学習パラダイムに従っていた
-この論文では、複数のコンピュートノードが並行して共通のNeRFを学習し、協力してシーンをモデリングするシナリオをサポートするために、NeRFをフェデレーテッド方式でトレーニングすることを検討する。
-これは、複数のエージェントを使用してシーンを協力的にモデリングする場合のシナリオをサポートする。
-これは、NeRFの最初のフェデレーテッド学習アルゴリズムであり、トレーニングの努力を複数の計算ノードに分割し、イメージを中央ノードで集める必要がなくなる。
-NeRFレイヤーの低ランク分解に基づく技術を導入し、モデルパラメータを集約するための帯域幅の消費を減らす。
-生データではなく、圧縮モデルを転送することで、データ収集エージェントのプライバシーにも貢献する。

要約(オリジナル)

The ability of neural radiance fields or NeRFs to conduct accurate 3D modelling has motivated application of the technique to scene representation. Previous approaches have mainly followed a centralised learning paradigm, which assumes that all training images are available on one compute node for training. In this paper, we consider training NeRFs in a federated manner, whereby multiple compute nodes, each having acquired a distinct set of observations of the overall scene, learn a common NeRF in parallel. This supports the scenario of cooperatively modelling a scene using multiple agents. Our contribution is the first federated learning algorithm for NeRF, which splits the training effort across multiple compute nodes and obviates the need to pool the images at a central node. A technique based on low-rank decomposition of NeRF layers is introduced to reduce bandwidth consumption to transmit the model parameters for aggregation. Transferring compressed models instead of the raw data also contributes to the privacy of the data collecting agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI