VMesh: Hybrid Volume-Mesh Representation for Efficient View Synthesis

要約

ニューラル ラディアンス フィールド (NeRF) の出現により、ビュー合成の品質は前例のないレベルに達しました。
従来のメッシュベースのアセットと比較して、このボリューム表現はシーン ジオメトリの表現においてより強力ですが、必然的にレンダリング コストが高くなり、編集などのさらなるプロセスにほとんど関与できず、既存のグラフィックス パイプラインと組み合わせると大きな問題が生じます。
このホワイト ペーパーでは、ハイブリッド ボリューム メッシュ表現 VMesh を提示します。VMesh は、補助スパース ボリュームと共にテクスチャ メッシュを使用してオブジェクトを表します。
VMesh は、効率的なレンダリング、コンパクトなストレージ、簡単な編集など、メッシュベースのアセットの利点を保持しながら、ボリューメトリックな対応物によって提供される微妙な幾何学的構造を表現する機能も組み込んでいます。
VMesh は、オブジェクトのマルチビュー画像から取得でき、一般的な消費者向けデバイスで 2K 60FPS で忠実度の高いレンダリングを行い、リアルタイムの没入型アプリケーションの新しい機会を解き放ちます。

要約(オリジナル)

With the emergence of neural radiance fields (NeRFs), view synthesis quality has reached an unprecedented level. Compared to traditional mesh-based assets, this volumetric representation is more powerful in expressing scene geometry but inevitably suffers from high rendering costs and can hardly be involved in further processes like editing, posing significant difficulties in combination with the existing graphics pipeline. In this paper, we present a hybrid volume-mesh representation, VMesh, which depicts an object with a textured mesh along with an auxiliary sparse volume. VMesh retains the advantages of mesh-based assets, such as efficient rendering, compact storage, and easy editing, while also incorporating the ability to represent subtle geometric structures provided by the volumetric counterpart. VMesh can be obtained from multi-view images of an object and renders at 2K 60FPS on common consumer devices with high fidelity, unleashing new opportunities for real-time immersive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google