Radiance Surfaces: Optimizing Surface Representations with a 5D Radiance Field Loss

要約

画像を輝き表面ベースのシーン表現に変換するための高速でシンプルな手法を提示します。
既存の放射型ボリューム再構成アルゴリズムに基づいて、数行のコードのみを変更する必要がある損失関数の微妙でありながら影響力のある変更を導入します。光線に沿って放射磁場を統合し、結果の画像を監督する代わりに、トレーニング画像をシーンに投影して、空間方向の放射磁場を直接監督します。
この変更の主な結果は、画像形成モデルからのアルファブレンドと光線が行進することであり、代わりにこれらのステップを損失計算に移動することです。
サーフェスへの収束を促進することに加えて、この定式化は、放射磁場の2Dサブセットに明示的なセマンティック意味を割り当て、明確に定義された放射輝度表面に変えます。
最終的に、この表現からレベルセットを抽出し、高品質の放射輝度表面モデルになります。
この方法は、ベースラインアルゴリズムの速度と品質の多くを保持しています。
たとえば、インスタントNGPの適切に修正されたバリアントは、同等の計算効率を維持し、平均PSNRはわずか0.1 dB低いものを達成します。
最も重要なことは、私たちの方法は、指数ボリュームの代わりに明示的な表面を生成し、以前の作業では見られないレベルの単純さでそうすることです。

要約(オリジナル)

We present a fast and simple technique to convert images into a radiance surface-based scene representation. Building on existing radiance volume reconstruction algorithms, we introduce a subtle yet impactful modification of the loss function requiring changes to only a few lines of code: instead of integrating the radiance field along rays and supervising the resulting images, we project the training images into the scene to directly supervise the spatio-directional radiance field. The primary outcome of this change is the complete removal of alpha blending and ray marching from the image formation model, instead moving these steps into the loss computation. In addition to promoting convergence to surfaces, this formulation assigns explicit semantic meaning to 2D subsets of the radiance field, turning them into well-defined radiance surfaces. We finally extract a level set from this representation, which results in a high-quality radiance surface model. Our method retains much of the speed and quality of the baseline algorithm. For instance, a suitably modified variant of Instant NGP maintains comparable computational efficiency, while achieving an average PSNR that is only 0.1 dB lower. Most importantly, our method generates explicit surfaces in place of an exponential volume, doing so with a level of simplicity not seen in prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google