360-Degree Panorama Generation from Few Unregistered NFoV Images

要約

360$^\circ$ パノラマは、コンピュータ グラフィックスの環境光源として広く利用されています。
ただし、360$^\circ$ $\times$ 180$^\circ$ のパノラマを撮影するには、専門的で高価な機材と追加の人的リソースが必要なため、課題が生じます。
これまでの研究では、単一の狭視野 (NFoV) 画像からパノラマを合成するためのさまざまな学習ベースの生成方法が開発されていますが、変更可能な入力パターン、生成品質、および制御性の点で制限があります。
これらの問題に対処するために、私たちは、任意の角度からキャプチャされた 1 つ以上の未登録の NFoV 画像を使用して、完全な 360$^\circ$ パノラマを効率的に生成する、PanoDiff と呼ばれる新しいパイプラインを提案します。
私たちのアプローチには、制限を克服するための 2 つの主要なコンポーネントがあります。
まず、さまざまな数の NFoV 入力を処理する 2 段階の角度予測モジュールです。
次に、新しい潜在拡散ベースのパノラマ生成モデルは、不完全なパノラマとテキスト プロンプトを制御信号として使用し、生成されたパノラマの幾何学的特性を保証するためにいくつかの幾何学的拡張スキームを利用します。
実験の結果、PanoDiff は最先端のパノラマ生成品質と高い制御性を実現し、コンテンツ編集などのアプリケーションに適していることがわかりました。

要約(オリジナル)

360$^\circ$ panoramas are extensively utilized as environmental light sources in computer graphics. However, capturing a 360$^\circ$ $\times$ 180$^\circ$ panorama poses challenges due to the necessity of specialized and costly equipment, and additional human resources. Prior studies develop various learning-based generative methods to synthesize panoramas from a single Narrow Field-of-View (NFoV) image, but they are limited in alterable input patterns, generation quality, and controllability. To address these issues, we propose a novel pipeline called PanoDiff, which efficiently generates complete 360$^\circ$ panoramas using one or more unregistered NFoV images captured from arbitrary angles. Our approach has two primary components to overcome the limitations. Firstly, a two-stage angle prediction module to handle various numbers of NFoV inputs. Secondly, a novel latent diffusion-based panorama generation model uses incomplete panorama and text prompts as control signals and utilizes several geometric augmentation schemes to ensure geometric properties in generated panoramas. Experiments show that PanoDiff achieves state-of-the-art panoramic generation quality and high controllability, making it suitable for applications such as content editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google