Re-ReND: Real-time Rendering of NeRFs across Devices

要約

このペーパーでは、リソースに制約のあるデバイスで、事前トレーニング済みのニューラル ラディアンス フィールド (NeRF) をリアルタイムでレンダリングするための新しいアプローチを提案します。
デバイス間で NeRF のリアルタイム レンダリングを可能にする方法である Re-ReND を紹介します。
Re-ReND は、NeRF を標準グラフィックス パイプラインで効率的に処理できる表現に変換することで、リアルタイム パフォーマンスを実現するように設計されています。
提案された方法は、学習された密度をメッシュに抽出することによって NeRF を抽出し、学習された色情報はシーンのライト フィールドを表す一連の行列に分解されます。
因数分解は、安価な MLP を使用しない行列乗算を介してフィールドがクエリされることを意味しますが、ライト フィールドを使用すると、フィールドを 1 回クエリするだけでピクセルをレンダリングできます。これは、放射輝度フィールドを使用する場合の数百回のクエリとは対照的です。
提案された表現はフラグメント シェーダーを使用して実装できるため、標準のラスター化フレームワークと直接統合できます。
当社の柔軟な実装により、メモリ要件が低く、モバイルや AR/VR ヘッドセットなど、リソースに制約のあるさまざまなデバイスで NeRF をリアルタイムでレンダリングできます。
特に、Re-ReND は、品質を著しく低下させることなく、最新技術と比較してレンダリング速度を 2.6 倍以上向上させることができることがわかりました。

要約(オリジナル)

This paper proposes a novel approach for rendering a pre-trained Neural Radiance Field (NeRF) in real-time on resource-constrained devices. We introduce Re-ReND, a method enabling Real-time Rendering of NeRFs across Devices. Re-ReND is designed to achieve real-time performance by converting the NeRF into a representation that can be efficiently processed by standard graphics pipelines. The proposed method distills the NeRF by extracting the learned density into a mesh, while the learned color information is factorized into a set of matrices that represent the scene’s light field. Factorization implies the field is queried via inexpensive MLP-free matrix multiplications, while using a light field allows rendering a pixel by querying the field a single time-as opposed to hundreds of queries when employing a radiance field. Since the proposed representation can be implemented using a fragment shader, it can be directly integrated with standard rasterization frameworks. Our flexible implementation can render a NeRF in real-time with low memory requirements and on a wide range of resource-constrained devices, including mobiles and AR/VR headsets. Notably, we find that Re-ReND can achieve over a 2.6-fold increase in rendering speed versus the state-of-the-art without perceptible losses in quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google