NAS-NeRF: Generative Neural Architecture Search for Neural Radiance Fields

要約

Neural Radiance Field (NeRF) により、高品質の新規ビュー合成が可能になりますが、計算の複雑さが法外に高いため、特にリソースに制約のあるプラットフォームでは展開性が制限されます。
NeRF を実際に使用できるようにするには、ビデオ ゲームの調整可能なグラフィック設定と同様に、計算の複雑さを軽減するための品質チューニングが不可欠です。
ただし、既存のソリューションは効率性を追求する一方で、シーンの複雑さに関係なく汎用のアーキテクチャを使用しています。ただし、同じアーキテクチャでは、単純なシーンでは不必要に大きくても、複雑なシーンでは不十分である可能性があります。
したがって、NeRF が 3D 視覚化にさらに広く使用されるようになるにつれて、計算の複雑さと合成品質の特定の目標との間のバランスを達成するために、NeRF のニューラル ネットワーク コンポーネントを動的に最適化する必要があります。
このギャップに対処するために、NAS-NeRF を導入します。NAS-NeRF は、計算量と最小合成品質の制約を遵守しながら、複雑さとパフォーマンスの間のトレードオフを最適化することで、シーンごとに NeRF アーキテクチャを生成するように独自に調整された生成ニューラル アーキテクチャ検索戦略です。
。
Blender 合成データセットでの実験では、提案された NAS-NeRF がベースライン NeRF に比べて最大 5.74$\times$ 小さく、4.19$\times$ 少ない FLOP で、GPU 上で 1.93$\times$ 高速なアーキテクチャを問題なく生成できることが示されています。
SSIMの低下。
さらに、NAS-NeRF は、平均 SSIM 低下がわずか 5.3% で、ベースライン NeRF よりも最大 23$\time$ 小型、22$\times$ 少ない FLOP、および 4.7$\time$ 高速なアーキテクチャを実現できることも示しています。
私たちの作業のソース コードも https://saeejithnair.github.io/NAS-NeRF で公開されています。

要約(オリジナル)

Neural radiance fields (NeRFs) enable high-quality novel view synthesis, but their prohibitively high computational complexity limits deployability, especially on resource-constrained platforms. To enable practical usage of NeRFs, quality tuning is essential to reduce computational complexity, akin to adjustable graphics settings in video games. However while existing solutions strive for efficiency, they use one-size-fits-all architectures regardless of scene complexity, although the same architecture may be unnecessarily large for simple scenes but insufficient for complex ones. Thus as NeRFs become more widely used for 3D visualization, there is a need to dynamically optimize the neural network component of NeRFs to achieve a balance between computational complexity and specific targets for synthesis quality. Addressing this gap, we introduce NAS-NeRF: a generative neural architecture search strategy uniquely tailored to generate NeRF architectures on a per-scene basis by optimizing the trade-off between complexity and performance, while adhering to constraints on computational budget and minimum synthesis quality. Our experiments on the Blender synthetic dataset show the proposed NAS-NeRF can generate architectures up to 5.74$\times$ smaller, with 4.19$\times$ fewer FLOPs, and 1.93$\times$ faster on a GPU than baseline NeRFs, without suffering a drop in SSIM. Furthermore, we illustrate that NAS-NeRF can also achieve architectures up to 23$\times$ smaller, 22$\times$ fewer FLOPs, and 4.7$\times$ faster than baseline NeRFs with only a 5.3\% average SSIM drop. The source code for our work is also made publicly available at https://saeejithnair.github.io/NAS-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google