Adaptive Voronoi NeRFs

要約

Neural Radiance Fields (NeRF) は、登録された一連の画像から 3D シーンを表現することを学習します。
シーンのサイズが大きくなると、すべての詳細をキャプチャするために、通常はニューラル ネットワークで表されるより複雑な機能が必要になります。
トレーニングと推論には、画像ごとに何百万回もニューラル ネットワークにクエリを実行する必要があり、非現実的なほど遅くなります。
このような複雑な関数は、速度を向上させるために複数のより単純な関数に置き換えることができるため、ボロノイ図の階層がシーンを分割するための適切な選択であることを示します。
各ボロノイ セルに独自の NeRF を装備することで、私たちのアプローチはシーン表現をすばやく学習することができます。
ネットワーク間で情報を均等に分散することでトレーニング中の品質向上を向上させ、トップダウンの適応改良によりアーティファクトを回避する空間の直感的な分割を提案します。
私たちのフレームワークは、基礎となる NeRF メソッドに依存せず、実装が簡単であるため、さまざまな NeRF バリアントに適用して、学習とレンダリングの速度を向上させることができます。

要約(オリジナル)

Neural Radiance Fields (NeRFs) learn to represent a 3D scene from just a set of registered images. Increasing sizes of a scene demands more complex functions, typically represented by neural networks, to capture all details. Training and inference then involves querying the neural network millions of times per image, which becomes impractically slow. Since such complex functions can be replaced by multiple simpler functions to improve speed, we show that a hierarchy of Voronoi diagrams is a suitable choice to partition the scene. By equipping each Voronoi cell with its own NeRF, our approach is able to quickly learn a scene representation. We propose an intuitive partitioning of the space that increases quality gains during training by distributing information evenly among the networks and avoids artifacts through a top-down adaptive refinement. Our framework is agnostic to the underlying NeRF method and easy to implement, which allows it to be applied to various NeRF variants for improved learning and rendering speeds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google