PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting

要約

ポータブル 360{\deg} カメラの出現により、パノラマは仮想現実 (VR)、仮想ツアー、ロボット工学、自動運転などのアプリケーションで大きな注目を集めています。
その結果、高解像度、高速推論、メモリ効率が不可欠な、ワイドベースラインのパノラマビュー合成が重要なタスクとして浮上しました。
それにもかかわらず、既存の方法は、メモリと計算要件が厳しいため、通常は低い解像度 (512 $\times$ 1024) に制約されます。
この論文では、最大 4K (2048 $\times$ 4096) の解像度を効率的にサポートする一般化可能なフィードフォワード アプローチである PanSplat を紹介します。
私たちのアプローチは、フィボナッチ格子配列を備えた調整された球状 3D ガウス ピラミッドを特徴としており、情報の冗長性を削減しながら画質を向上させます。
高解像度の要求に対応するために、階層的な球コスト ボリュームとローカル操作を備えたガウス ヘッドを統合するパイプラインを提案します。これにより、単一の A100 GPU でメモリ効率の高いトレーニングのための 2 ステップの遅延バックプロパゲーションが可能になります。
実験では、PanSplat が合成データセットと現実世界のデータセットの両方で優れた効率と画質で最先端の結果を達成できることを実証しています。
コードは \url{https://github.com/chengzhag/PanSplat} で入手できます。

要約(オリジナル)

With the advent of portable 360{\deg} cameras, panorama has gained significant attention in applications like virtual reality (VR), virtual tours, robotics, and autonomous driving. As a result, wide-baseline panorama view synthesis has emerged as a vital task, where high resolution, fast inference, and memory efficiency are essential. Nevertheless, existing methods are typically constrained to lower resolutions (512 $\times$ 1024) due to demanding memory and computational requirements. In this paper, we present PanSplat, a generalizable, feed-forward approach that efficiently supports resolution up to 4K (2048 $\times$ 4096). Our approach features a tailored spherical 3D Gaussian pyramid with a Fibonacci lattice arrangement, enhancing image quality while reducing information redundancy. To accommodate the demands of high resolution, we propose a pipeline that integrates a hierarchical spherical cost volume and Gaussian heads with local operations, enabling two-step deferred backpropagation for memory-efficient training on a single A100 GPU. Experiments demonstrate that PanSplat achieves state-of-the-art results with superior efficiency and image quality across both synthetic and real-world datasets. Code will be available at \url{https://github.com/chengzhag/PanSplat}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google