Rethinking Directional Integration in Neural Radiance Fields

要約

最近の作品では、Neural radiance field (NeRF) を使用してマルチビュー 3D 再構築を実行し、フォトリアリスティックなシーンのレンダリングに大きな進歩をもたらしました。
ただし、その有効性にもかかわらず、NeRF は、ライト フィールド レンダリングや画像ベースのビュー合成と比較して、ビュー依存の効果を学習する能力が限られています。
そのために、NeRF レンダリング方程式に変更を導入しました。これは、NeRF のバリエーションに対して数行のコード変更を行うだけで済み、ビュー依存のエフェクトのレンダリング品質を大幅に向上させます。
積分演算子と方向デコーダ ネットワークを交換することにより、光線に沿った位置特徴のみを積分し、方向項を積分から除外することで、ビュー依存コンポーネントと独立コンポーネントのもつれが解消されます。
修正された方程式は、ディラック密度を持つ物体表面上の理想的な場合の古典的な体積レンダリングと等価です。
さらに、ネットワーク近似と数値積分によって生じる誤差を考慮すると、レンダリング方程式は古典的な NeRF と比較して誤差の蓄積が少なく、より優れた収束特性を示すことを証明します。
また、修正された方程式が学習された光線埋め込みを使用したライト フィールド レンダリングとして解釈できることも示します。
さまざまな NeRF バリエーションでの実験では、単純な変更によりビュー依存効果の品質が一貫して向上していることが示されています。

要約(オリジナル)

Recent works use the Neural radiance field (NeRF) to perform multi-view 3D reconstruction, providing a significant leap in rendering photorealistic scenes. However, despite its efficacy, NeRF exhibits limited capability of learning view-dependent effects compared to light field rendering or image-based view synthesis. To that end, we introduce a modification to the NeRF rendering equation which is as simple as a few lines of code change for any NeRF variations, while greatly improving the rendering quality of view-dependent effects. By swapping the integration operator and the direction decoder network, we only integrate the positional features along the ray and move the directional terms out of the integration, resulting in a disentanglement of the view-dependent and independent components. The modified equation is equivalent to the classical volumetric rendering in ideal cases on object surfaces with Dirac densities. Furthermore, we prove that with the errors caused by network approximation and numerical integration, our rendering equation exhibits better convergence properties with lower error accumulations compared to the classical NeRF. We also show that the modified equation can be interpreted as light field rendering with learned ray embeddings. Experiments on different NeRF variations show consistent improvements in the quality of view-dependent effects with our simple modification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google