Learning Neural Duplex Radiance Fields for Real-Time View Synthesis

要約

タイトル: リアルタイムビュー合成のためのニューラルデュプレックス放射場の学習
要約:
-NeRFは、前例のない視覚的品質を持つ新しい視点合成を可能にするが、フォトリアルな画像を描画するには、ピクセルごとに数百の深層MLP評価が必要であり、これは強力なモダンGPUでもリアルタイムレンダリングを不可能にするほどコストがかかる。
-本論文では、NeRFを効率的なメッシュベースのニューラル表現に蒸留して焼き込む新しい方法を提案する。
-われわれは、シーンを2つの層から成るデュプレックスメッシュにエンコードされたニューラル放射特徴量として表現し、信頼できる光線-表面交差の幅広い間隔から集計された放射情報を学習することで、3D表面再構成の固有の不正確さを克服する。
-近くのピクセルの局所的な幾何学的関係を活用するため、NeRFで使用されるMLPの代わりにスクリーンスペース畳み込みを利用し、高品質な外観を実現する。
-最後に、新しいマルチビュー蒸留最適化戦略により、フレームワーク全体のパフォーマンスをさらに向上させる。
-標準的なデータセットの幅広い実験により、われわれの手法の有効性と優位性を実証する。

要約(オリジナル)

Neural radiance fields (NeRFs) enable novel view synthesis with unprecedented visual quality. However, to render photorealistic images, NeRFs require hundreds of deep multilayer perceptron (MLP) evaluations – for each pixel. This is prohibitively expensive and makes real-time rendering infeasible, even on powerful modern GPUs. In this paper, we propose a novel approach to distill and bake NeRFs into highly efficient mesh-based neural representations that are fully compatible with the massively parallel graphics rendering pipeline. We represent scenes as neural radiance features encoded on a two-layer duplex mesh, which effectively overcomes the inherent inaccuracies in 3D surface reconstruction by learning the aggregated radiance information from a reliable interval of ray-surface intersections. To exploit local geometric relationships of nearby pixels, we leverage screen-space convolutions instead of the MLPs used in NeRFs to achieve high-quality appearance. Finally, the performance of the whole framework is further boosted by a novel multi-view distillation optimization strategy. We demonstrate the effectiveness and superiority of our approach via extensive experiments on a range of standard datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI