BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis

要約

フォトリアリスティックな斬新なビュー合成に適した、大規模な無制限の現実世界のシーンの高品質メッシュを再構築する方法を提示します。
最初に、シーン内の表面に対応する適切に動作するレベル セットを持つように設計されたハイブリッド ニューラル ボリューム-表面シーン表現を最適化します。
次に、この表現を高品質の三角形メッシュに焼き付け、これに球状ガウスに基づくシンプルで高速なビュー依存の外観モデルを装備します。
最後に、この焼き付けられた表現を最適化して、キャプチャされた視点を最適に再現し、コモディティ ハードウェアでのリアルタイム ビュー合成のために、高速化されたポリゴン ラスタライゼーション パイプラインを活用できるモデルを作成します。
私たちのアプローチは、精度、速度、消費電力の点でリアルタイム レンダリングの以前のシーン表現を上回り、外観編集や物理シミュレーションなどのアプリケーションを可能にする高品質のメッシュを生成します。

要約(オリジナル)

We present a method for reconstructing high-quality meshes of large unbounded real-world scenes suitable for photorealistic novel view synthesis. We first optimize a hybrid neural volume-surface scene representation designed to have well-behaved level sets that correspond to surfaces in the scene. We then bake this representation into a high-quality triangle mesh, which we equip with a simple and fast view-dependent appearance model based on spherical Gaussians. Finally, we optimize this baked representation to best reproduce the captured viewpoints, resulting in a model that can leverage accelerated polygon rasterization pipelines for real-time view synthesis on commodity hardware. Our approach outperforms previous scene representations for real-time rendering in terms of accuracy, speed, and power consumption, and produces high quality meshes that enable applications such as appearance editing and physical simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google