NAS-NeRF: Generative Neural Architecture Search for Neural Radiance Fields

要約

Neural Radiance Field (NeRF) により、高品質の新規ビュー合成が可能になりますが、計算の複雑さが高いため、展開性が制限されます。
既存のニューラルベースのソリューションは効率性を追求していますが、シーンの複雑さに関係なく、万能のアーキテクチャを使用しています。
同じアーキテクチャでも、単純なシーンでは不必要に大きくなる可能性がありますが、複雑なシーンでは不十分です。
したがって、計算の複雑さと合成品質の特定の目標との間のバランスを達成するために、NeRF のニューラル ネットワーク コンポーネントを動的に最適化する必要があります。
NAS-NeRF は、アーキテクチャの複雑さとターゲット合成品質メトリクスのバランスをとることで、コンパクトでシーンに特化した NeRF アーキテクチャを生成する生成ニューラル アーキテクチャ検索戦略です。
私たちの手法には、ターゲット指標と予算に関する制約が組み込まれており、各シーンに合わせたアーキテクチャに向けた探索を導きます。
Blender 合成データセットの実験では、提案された NAS-NeRF がベースライン NeRF に比べて最大 5.74$\times$ 小さく、4.19$\times$ 少ない FLOP で、GPU 上で 1.93$\times$ 高速なアーキテクチャを生成できることが示されています。
SSIMを落とします。
さらに、NAS-NeRF は、平均 SSIM 低下がわずか 5.3% で、ベースライン NeRF よりも最大 23$\time$ 小さいアーキテクチャ、22$\times$ 少ない FLOP、および 4.7$\time$ 高速なアーキテクチャを実現できることも示しています。
私たちのソース コードは https://saeejithnair.github.io/NAS-NeRF でも公開されています。

要約(オリジナル)

Neural radiance fields (NeRFs) enable high-quality novel view synthesis, but their high computational complexity limits deployability. While existing neural-based solutions strive for efficiency, they use one-size-fits-all architectures regardless of scene complexity. The same architecture may be unnecessarily large for simple scenes but insufficient for complex ones. Thus, there is a need to dynamically optimize the neural network component of NeRFs to achieve a balance between computational complexity and specific targets for synthesis quality. We introduce NAS-NeRF, a generative neural architecture search strategy that generates compact, scene-specialized NeRF architectures by balancing architecture complexity and target synthesis quality metrics. Our method incorporates constraints on target metrics and budgets to guide the search towards architectures tailored for each scene. Experiments on the Blender synthetic dataset show the proposed NAS-NeRF can generate architectures up to 5.74$\times$ smaller, with 4.19$\times$ fewer FLOPs, and 1.93$\times$ faster on a GPU than baseline NeRFs, without suffering a drop in SSIM. Furthermore, we illustrate that NAS-NeRF can also achieve architectures up to 23$\times$ smaller, with 22$\times$ fewer FLOPs, and 4.7$\times$ faster than baseline NeRFs with only a 5.3% average SSIM drop. Our source code is also made publicly available at https://saeejithnair.github.io/NAS-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google