LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

要約

モバイル デバイスでのリアルタイムのノベルビュー画像合成は、計算能力とストレージが限られているため、法外です。
NeRF やその派生物などのボリューム レンダリング手法をモバイル デバイスで使用することは、ボリューム レンダリングの計算コストが高いため、適切ではありません。
一方で、ニューラル ライト フィールド表現における最近の進歩により、モバイル デバイス上で有望なリアルタイム ビュー合成結果が得られることが示されています。
ニューラル ライト フィールド手法は、光線表現からピクセル カラーへの直接マッピングを学習します。
現在の光線表現の選択は、層別光線サンプリングまたはプラーカー座標のいずれかであり、ライト フィールド ビュー間を補間するための好ましい表現である古典的なライト スラブ (2 平面) 表現は考慮されていません。
この研究では、ライト スラブ表現の使用がニューラル ライト フィールドを学習するための効率的な表現であることがわかりました。
さらに重要なことは、これは低次元の光線表現であるため、トレーニングとレンダリングが大幅に高速なフィーチャ グリッドを使用して 4D 光線空間を学習できるということです。
主に正面ビュー向けに設計されていますが、分割統治戦略を使用して、ライト スラブ表現を非正面シーンにもさらに拡張できることを示します。
私たちの方法は、以前のライトフィールド方法と比較して優れたレンダリング品質を提供し、レンダリング品質と速度の間のトレードオフが大幅に改善されました。

要約(オリジナル)

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\'{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google