OmniCity: Omnipotent City Understanding with Multi-level and Multi-view Images

要約

この論文では、マルチレベルおよびマルチビュー画像から全能都市を理解するための新しいデータセットである OmniCity を紹介します。
より正確には、OmniCity には、ニューヨーク市の 25,000 の地理的位置から適切に配置され、収集された 100,000 個を超えるピクセル単位の注釈付き画像を構成する、マルチビュー衛星画像、ストリート レベルのパノラマおよびモノビュー画像が含まれています。
実質的なピクセル単位の注釈作業を軽減するために、衛星ビューの既存のラベル マップと、異なるビュー (衛星、パノラマ、およびモノビュー) 間の変換関係を活用する効率的なストリート ビュー画像注釈パイプラインを提案します。
新しい OmniCity データセットを使用して、建物のフットプリントの抽出、高さの推定、建物の平面/インスタンス/細粒度セグメンテーションなど、さまざまなタスクのベンチマークを提供します。
また、各タスクに対するビューの影響、さまざまなモデルのパフォーマンス、既存の方法の制限なども分析します。既存のマルチレベルおよびマルチビュー ベンチマークと比較して、OmniCity には、より豊富な注釈タイプとより多くの画像が含まれています。
より多くのビューを提供し、最先端のモデルから得られたより多くのベースライン結果を提供し、街路レベルのパノラマ画像で細かい建物インスタンス セグメンテーションのための新しいタスクを導入します。
さらに、OmniCity は、クロスビュー画像マッチング、合成、セグメンテーション、検出などの既存のタスクに新しい問題設定を提供し、大規模な都市の理解、再構築、およびシミュレーションのための新しい方法の開発を容易にします。
OmniCity データセットとベンチマークは、https://city-super.github.io/omnicity で入手できます。

要約(オリジナル)

This paper presents OmniCity, a new dataset for omnipotent city understanding from multi-level and multi-view images. More precisely, the OmniCity contains multi-view satellite images as well as street-level panorama and mono-view images, constituting over 100K pixel-wise annotated images that are well-aligned and collected from 25K geo-locations in New York City. To alleviate the substantial pixel-wise annotation efforts, we propose an efficient street-view image annotation pipeline that leverages the existing label maps of satellite view and the transformation relations between different views (satellite, panorama, and mono-view). With the new OmniCity dataset, we provide benchmarks for a variety of tasks including building footprint extraction, height estimation, and building plane/instance/fine-grained segmentation. We also analyze the impact of view on each task, the performance of different models, limitations of existing methods, etc. Compared with the existing multi-level and multi-view benchmarks, our OmniCity contains a larger number of images with richer annotation types and more views, provides more baseline results obtained from state-of-the-art models, and introduces a novel task for fine-grained building instance segmentation on street-level panorama images. Moreover, OmniCity provides new problem settings for existing tasks, such as cross-view image matching, synthesis, segmentation, detection, etc., and facilitates the developing of new methods for large-scale city understanding, reconstruction, and simulation. The OmniCity dataset as well as the benchmarks will be available at https://city-super.github.io/omnicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google