fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations

要約

この研究では、品質を損なうことなく実行時間を大幅に改善する、レイヤー化されたシーン表現に基づく新規ビュー合成 (NVS) 手法のための 2 つの新しい入力処理パラダイムを提案します。
私たちのアプローチは、従来のパイプラインで最も時間のかかる 2 つの側面を特定し、軽減します。それは、入力カメラ ビューの平面再投影の高次元テンソルである、いわゆる平面スイープ ボリューム (PSV) の構築と処理です。
特に、計算効率を向上させるためにこのテンソルを並列グループで処理することと、隣接する入力プレーンをスーパーサンプリングしてより高密度でより正確なシーン表現を生成することを提案します。
提案された機能拡張は大幅な柔軟性を提供し、パフォーマンスと速度のバランスを考慮して、リアルタイム アプリケーションに向けた大きな一歩を踏み出します。
さらに、これらは、マルチプレーン イメージ、マルチスフィア イメージ、レイヤード デプス イメージを使用する方法など、PSV ベースのあらゆる方法で利用できるという意味で非常に一般的です。
一連の包括的な実験により、私たちが提案するパラダイムにより、既存の最先端の手法よりも最大 50 ドル高速でありながら、公開ベンチマークで最先端の性能を達成する NVS 手法の設計が可能であることを実証しました。
。
また、速度の点で現在の先行製品を 3 倍以上上回っており、大幅に優れたレンダリング品質を実現しています。

要約(オリジナル)

In this study, we propose two novel input processing paradigms for novel view synthesis (NVS) methods based on layered scene representations that significantly improve their runtime without compromising quality. Our approach identifies and mitigates the two most time-consuming aspects of traditional pipelines: building and processing the so-called plane sweep volume (PSV), which is a high-dimensional tensor of planar re-projections of the input camera views. In particular, we propose processing this tensor in parallel groups for improved compute efficiency as well as super-sampling adjacent input planes to generate denser, and hence more accurate scene representation. The proposed enhancements offer significant flexibility, allowing for a balance between performance and speed, thus making substantial steps toward real-time applications. Furthermore, they are very general in the sense that any PSV-based method can make use of them, including methods that employ multiplane images, multisphere images, and layered depth images. In a comprehensive set of experiments, we demonstrate that our proposed paradigms enable the design of an NVS method that achieves state-of-the-art on public benchmarks while being up to $50x$ faster than existing state-of-the-art methods. It also beats the current forerunner in terms of speed by over $3x$, while achieving significantly better rendering quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google