Adaptive Shells for Efficient Neural Radiance Field Rendering

要約

ニューラル放射輝度フィールドは、新しいビュー合成において前例のない品質を達成しますが、その容積測定の定式化は依然として高価であり、高解像度の画像をレンダリングするには膨大な数のサンプルが必要です。
ボリュームエンコーディングは、葉や髪の毛などのあいまいなジオメトリを表現するために不可欠であり、確率的最適化に適しています。
しかし、多くのシーンは最終的には、ピクセルごとに 1 つのサンプルで正確にレンダリングできるソリッド サーフェスで大部分が構成されています。
この洞察に基づいて、ボリュームベースのレンダリングとサーフェスベースのレンダリングの間をスムーズに移行し、レンダリング速度を大幅に加速し、視覚的な忠実度をさらに向上させるニューラルラディアンスの定式化を提案します。
私たちの方法は、ニューラルボリューム表現を空間的に境界付ける明示的なメッシュエンベロープを構築します。
ソリッド領域では、エンベロープはサーフェスにほぼ収束し、多くの場合、単一のサンプルでレンダリングできます。
この目的を達成するために、密度の広がりをエンコードする学習された空間的に変化するカーネル サイズを使用して NeuS 定式化を一般化し、幅の広いカーネルをボリューム状の領域に適合させ、狭いカーネルを表面状の領域に適合させます。
次に、カーネル サイズによって幅が決まる、表面周囲の狭いバンドの明示的なメッシュを抽出し、このバンド内の放射フィールドを微調整します。
推論時には、メッシュに対して光線を投射し、囲まれた領域内のみで放射フィールドを評価するため、必要なサンプルの数が大幅に削減されます。
実験によれば、私たちのアプローチにより、非常に高い忠実度で効率的なレンダリングが可能になることがわかりました。
また、抽出されたエンベロープによってアニメーションやシミュレーションなどの下流アプリケーションが可能になることも示します。

要約(オリジナル)

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google