BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis

要約

我々は、フォトリアリスティックな新規ビュー合成に適した、境界のない大規模な現実世界のシーンの高品質メッシュを再構成する方法を提案します。
まず、シーン内のサーフェスに対応する適切に動作するレベル セットを持つように設計されたハイブリッド ニューラル ボリュームとサーフェスのシーン表現を最適化します。
次に、この表現を高品質の三角形メッシュにベイクし、球面ガウスに基づくシンプルで高速なビュー依存の外観モデルを装備します。
最後に、キャプチャされた視点を最適に再現するためにこのベイク表現を最適化し、その結果、高速化されたポリゴン ラスタライゼーション パイプラインを活用して、汎用ハードウェア上でリアルタイム ビュー合成を行うことができるモデルが得られます。
私たちのアプローチは、精度、速度、消費電力の点でリアルタイム レンダリングにおける以前のシーン表現を上回り、外観編集や物理シミュレーションなどのアプリケーションを可能にする高品質のメッシュを生成します。

要約(オリジナル)

We present a method for reconstructing high-quality meshes of large unbounded real-world scenes suitable for photorealistic novel view synthesis. We first optimize a hybrid neural volume-surface scene representation designed to have well-behaved level sets that correspond to surfaces in the scene. We then bake this representation into a high-quality triangle mesh, which we equip with a simple and fast view-dependent appearance model based on spherical Gaussians. Finally, we optimize this baked representation to best reproduce the captured viewpoints, resulting in a model that can leverage accelerated polygon rasterization pipelines for real-time view synthesis on commodity hardware. Our approach outperforms previous scene representations for real-time rendering in terms of accuracy, speed, and power consumption, and produces high quality meshes that enable applications such as appearance editing and physical simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google