Mixed-View Panorama Synthesis using Geospatially Guided Diffusion

要約

混合ビューパノラマ合成のタスクを紹介します。ここでは、入力パノラマの小さなセットとその地域の衛星画像を考慮して、新しいパノラマを合成することが目標です。
これは、入力パノラマ（同視合成）または入力衛星画像（クロスビュー合成）のみを使用する以前の研究とは対照的です。
混合ビュー設定は、世界中の任意の場所のパノラマ統合をサポートするのに最も自然なものであると主張しています。
重大な課題は、パノラマの空間的カバレッジが不均一であり、世界の多くの地域で入手できるパノラマはほとんどないことです。
拡散ベースのモデリングと、利用可能なすべての入力画像から情報を抽出するための注意ベースのアーキテクチャを利用するアプローチを紹介します。
実験結果は、提案された方法の有効性を示しています。
特に、私たちのモデルは、利用可能なパノラマがまばらであるか、合成しようとしているパノラマの場所から遠く離れている場合にシナリオを処理できます。
プロジェクトページは、https：//mixed-view.github.ioで入手できます

要約(オリジナル)

We introduce the task of mixed-view panorama synthesis, where the goal is to synthesize a novel panorama given a small set of input panoramas and a satellite image of the area. This contrasts with previous work which only uses input panoramas (same-view synthesis), or an input satellite image (cross-view synthesis). We argue that the mixed-view setting is the most natural to support panorama synthesis for arbitrary locations worldwide. A critical challenge is that the spatial coverage of panoramas is uneven, with few panoramas available in many regions of the world. We introduce an approach that utilizes diffusion-based modeling and an attention-based architecture for extracting information from all available input imagery. Experimental results demonstrate the effectiveness of our proposed method. In particular, our model can handle scenarios when the available panoramas are sparse or far from the location of the panorama we are attempting to synthesize. The project page is available at https://mixed-view.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google