Content-Aware Radiance Fields: Aligning Model Complexity with Scene Intricacy Through Learned Bitwidth Quantization

要約

Neural Radiance Fields (NeRF)、Instant-NGP、3D Gaussian Splat?ting に代表される、最近人気のある放射輝度フィールド モデルは、個々のシーンのトレーニング モデルによって 3D コンテンツを表現するように設計されています。
シーン表現とシーンごとのトレーニングのこのユニークな特性により、複雑なシーンではより高い表現能力を備えたモデルが必要となり、その逆も同様であるため、放射フィールド モデルと他のニューラル モデルは区別されます。
この論文では、Adversarial Content-Aware Quantization (A-CAQ) を通じてモデルの複雑さをシーンの複雑さに合わせて、コンテンツを意識した放射輝度フィールドを提案します。
具体的には、特定のシーンや要件の固有の特性に合わせて、パラメーターのビット幅を微分可能およびトレーニング可能にします。
提案されたフレームワークは、よく知られた NeRF バリアントである Instant-NGP で評価され、さまざまなデータセットを使用して評価されました。
実験結果は、必要な再構成とレンダリングの品質を維持しながら、計算の複雑さが顕著に軽減されることを実証しており、これが放射場モデルの実際の展開に有益になります。
コードは https://github.com/WeihangLiu2024/Content_Aware_NeRF で入手できます。

要約(オリジナル)

The recent popular radiance field models, exemplified by Neural Radiance Fields (NeRF), Instant-NGP and 3D Gaussian Splat?ting, are designed to represent 3D content by that training models for each individual scene. This unique characteristic of scene representation and per-scene training distinguishes radiance field models from other neural models, because complex scenes necessitate models with higher representational capacity and vice versa. In this paper, we propose content?aware radiance fields, aligning the model complexity with the scene intricacies through Adversarial Content-Aware Quantization (A-CAQ). Specifically, we make the bitwidth of parameters differentiable and train?able, tailored to the unique characteristics of specific scenes and requirements. The proposed framework has been assessed on Instant-NGP, a well-known NeRF variant and evaluated using various datasets. Experimental results demonstrate a notable reduction in computational complexity, while preserving the requisite reconstruction and rendering quality, making it beneficial for practical deployment of radiance fields models. Codes are available at https://github.com/WeihangLiu2024/Content_Aware_NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google