Neural Mesh-Based Graphics

要約

遍在するポイント機能ニューラル レンダリング パラダイムを導入した新しいビュー合成への一般的なアプローチである NPBG を再訪します。
特に高速ビュー合成によるデータ効率の良い学習に関心があります。
これは、前景/背景シーンのレンダリング分割と改善された損失に加えて、ビュー依存のメッシュベースのより高密度のポイント記述子ラスター化によって実現されます。
単一のシーンのみでトレーニングすることにより、ScanNet でトレーニングしてからシーンを微調整した NPBG よりも優れています。
また、完全なデータセット (DTU およびタンクと寺院) でトレーニングされ、より深いニューラル レンダラーにもかかわらず、シーンが微調整された最先端のメソッド SVS に関しても競争力を発揮します。

要約(オリジナル)

We revisit NPBG, the popular approach to novel view synthesis that introduced the ubiquitous point feature neural rendering paradigm. We are interested in particular in data-efficient learning with fast view synthesis. We achieve this through a view-dependent mesh-based denser point descriptor rasterization, in addition to a foreground/background scene rendering split, and an improved loss. By training solely on a single scene, we outperform NPBG, which has been trained on ScanNet and then scene finetuned. We also perform competitively with respect to the state-of-the-art method SVS, which has been trained on the full dataset (DTU and Tanks and Temples) and then scene finetuned, in spite of their deeper neural renderer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google