One is All: Bridging the Gap Between Neural Radiance Fields Architectures with Progressive Volume Distillation

要約

Neural Radiance Fields (NeRF) 法は、3Dシーンのコンパクトで高品質かつ汎用的な表現として有効であることが証明されており、編集、検索、ナビゲーションなどの下流のタスクを可能にする。NeRFのコア構造には、MLP、スパーステンソル、低ランクテンソル、ハッシュテーブル、およびそれらの合成など、様々なニューラルアーキテクチャが競い合っている。これらの表現にはそれぞれ特有のトレードオフがある。例えば、ハッシュテーブルに基づく表現は、より高速な学習とレンダリングを可能にするが、明確な幾何学的意味の欠如により、空間的関係を考慮した編集などの下流タスクに支障をきたす。本論文では、MLP、スパーステンソル、低ランクテンソル、ハッシュテーブル、およびそれらの合成を含む異なるアーキテクチャ間の任意の変換を可能にする体系的な蒸留法であるProgressive Volume Distillation (PVD)を提案する。PVDは、結果として、下流のアプリケーションがポストホック方式で手元のタスクにニューラル表現を最適に適合させることを可能にします。この変換は、浅いものから深いものへと、異なるレベルのボリューム表現に対して徐々に蒸留が行われるため、高速に行われる。また、密度を特別に扱うことで、その特有の数値的不安定性の問題に対処している。NeRF-Synthetic、LLFF、TanksAndTemplesの各データセットにおいて、本手法を検証するための実証的な証拠を提示します。例えば、PVDを用いると、MLPベースのNeRFモデルをハッシュテーブルベースのInstant-NGPモデルから抽出することができ、元のNeRFをゼロから学習するよりも10倍から20倍速いスピードで、かつ優れた合成品質を達成することができるのです。コードは https://github.com/megvii-research/AAAI2023-PVD で公開されています。

要約(オリジナル)

Neural Radiance Fields (NeRF) methods have proved effective as compact, high-quality and versatile representations for 3D scenes, and enable downstream tasks such as editing, retrieval, navigation, etc. Various neural architectures are vying for the core structure of NeRF, including the plain Multi-Layer Perceptron (MLP), sparse tensors, low-rank tensors, hashtables and their compositions. Each of these representations has its particular set of trade-offs. For example, the hashtable-based representations admit faster training and rendering but their lack of clear geometric meaning hampers downstream tasks like spatial-relation-aware editing. In this paper, we propose Progressive Volume Distillation (PVD), a systematic distillation method that allows any-to-any conversions between different architectures, including MLP, sparse or low-rank tensors, hashtables and their compositions. PVD consequently empowers downstream applications to optimally adapt the neural representations for the task at hand in a post hoc fashion. The conversions are fast, as distillation is progressively performed on different levels of volume representations, from shallower to deeper. We also employ special treatment of density to deal with its specific numerical instability problem. Empirical evidence is presented to validate our method on the NeRF-Synthetic, LLFF and TanksAndTemples datasets. For example, with PVD, an MLP-based NeRF model can be distilled from a hashtable-based Instant-NGP model at a 10X~20X faster speed than being trained the original NeRF from scratch, while achieving a superior level of synthesis quality. Code is available at https://github.com/megvii-research/AAAI2023-PVD.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL