MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes

要約

ニューラル ラディアンス フィールドは、最先端のフォトリアリスティック ビュー合成を可能にします。
ただし、既存の放射輝度フィールド表現は、リアルタイム レンダリングには計算負荷が高すぎるか、大規模なシーンにスケーリングするには大量のメモリを必要とします。
ブラウザーで大規模なシーンのリアルタイム レンダリングを実現するメモリ効率の良い放射輝度場 (MERF) 表現を提示します。
MERF は、スパース フィーチャ グリッドと高解像度 2D フィーチャ プレーンの組み合わせを使用して、以前のスパース ボリューム ラディアンス フィールドのメモリ消費を削減します。
大規模な境界のないシーンをサポートするために、効率的なレイボックスの交差を可能にしながら、シーンの座標を境界のあるボリュームにマッピングする新しい収縮関数を導入します。
トレーニング中に使用されるパラメータ化をモデルにベイクするためのロスレス手順を設計します。これにより、リアルタイム レンダリングを実現しながら、体積放射輝度場のフォトリアリスティック ビュー合成品質が維持されます。

要約(オリジナル)

Neural radiance fields enable state-of-the-art photorealistic view synthesis. However, existing radiance field representations are either too compute-intensive for real-time rendering or require too much memory to scale to large scenes. We present a Memory-Efficient Radiance Field (MERF) representation that achieves real-time rendering of large-scale scenes in a browser. MERF reduces the memory consumption of prior sparse volumetric radiance fields using a combination of a sparse feature grid and high-resolution 2D feature planes. To support large-scale unbounded scenes, we introduce a novel contraction function that maps scene coordinates into a bounded volume while still allowing for efficient ray-box intersection. We design a lossless procedure for baking the parameterization used during training into a model that achieves real-time rendering while still preserving the photorealistic view synthesis quality of a volumetric radiance field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google