NeRF Revisited: Fixing Quadrature Instability in Volume Rendering

要約

Neural Radiance Field (NeRF) は、ボリューム レンダリングに依存して新しいビューを合成します。
ボリューム レンダリングでは、各光線に沿った積分を評価する必要があります。この積分は、区分的に一定の体積密度の下で光線に沿った正確な積分に対応する有限和で数値的に近似されます。
結果として、レンダリングされた結果は、全体的に不安定になります。
光線に沿ったサンプルの選択、これを直交不安定性と呼んでいます。
我々は、サンプルベースのレンダリング方程式を再定式化し、それが区分的線形体積密度の下での正確な積分に対応するようにすることにより、数学的原理に基づいた解決策を提案します。
これにより、異なる光線に沿ったサンプル間の競合、不正確な階層サンプリング、および光線終端距離の分位数の非微分可能性など、複数の問題が同時に解決されます。
モデルパラメータ。
我々は、より鮮明なテクスチャ、より優れた幾何学的再構成、より強力な深度監視など、従来のサンプルベースのレンダリング方程式に勝るいくつかの利点を実証します。
私たちが提案した定式化は、既存の NeRF ベースの手法のボリューム レンダリング方程式へのドロップイン置き換えとしても使用できます。
私たちのプロジェクト ページは pl-nerf.github.io にあります。

要約(オリジナル)

Neural radiance fields (NeRF) rely on volume rendering to synthesize novel views. Volume rendering requires evaluating an integral along each ray, which is numerically approximated with a finite sum that corresponds to the exact integral along the ray under piecewise constant volume density. As a consequence, the rendered result is unstable w.r.t. the choice of samples along the ray, a phenomenon that we dub quadrature instability. We propose a mathematically principled solution by reformulating the sample-based rendering equation so that it corresponds to the exact integral under piecewise linear volume density. This simultaneously resolves multiple issues: conflicts between samples along different rays, imprecise hierarchical sampling, and non-differentiability of quantiles of ray termination distances w.r.t. model parameters. We demonstrate several benefits over the classical sample-based rendering equation, such as sharper textures, better geometric reconstruction, and stronger depth supervision. Our proposed formulation can be also be used as a drop-in replacement to the volume rendering equation of existing NeRF-based methods. Our project page can be found at pl-nerf.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google