OmniCity: Omnipotent City Understanding with Multi-level and Multi-view Images

要約

本論文では、マルチレベル・マルチビュー画像から全能の都市を理解するための新しいデータセットであるOmniCityを紹介する。オムニシティは、マルチビューの衛星画像、ストリートレベルのパノラマ画像、モノビュー画像から構成され、ニューヨーク市の25Kのジオロケーションから収集された100K以上のピクセル単位のアノテーション画像から構成されています。ピクセル単位のアノテーションにかかる多大な労力を軽減するため、我々は既存の衛星画像のラベルマップと異なるビュー（衛星、パノラマ、モノビュー）間の変換関係を利用する効率的なストリートビュー画像アノテーションパイプラインを提案します。新しいOmniCityデータセットを用いて、建物の足跡抽出、高さ推定、建物の平面／インスタンス／細粒度セグメンテーションを含む様々なタスクのベンチマークを提供する。既存のマルチレベルおよびマルチビューベンチマークと比較して、OmniCityはより豊富なアノテーションタイプとより多くのビューを含むより多くの画像を含み、最新モデルのベンチマーク結果を提供し、ストリートレベルのパノラマ画像上のきめ細かい建物インスタンス分割という新規タスクを導入しています。さらに、OmniCityは、クロスビュー画像のマッチング、合成、セグメンテーション、検出などの既存のタスクに新しい問題設定を提供し、大規模都市の理解、再構成、シミュレーションのための新しい手法の開発を促進する。OmniCityのデータセットとベンチマークは、https://city-super.github.io/omnicity で公開される予定です。

要約(オリジナル)

This paper presents OmniCity, a new dataset for omnipotent city understanding from multi-level and multi-view images. More precisely, the OmniCity contains multi-view satellite images as well as street-level panorama and mono-view images, constituting over 100K pixel-wise annotated images that are well-aligned and collected from 25K geo-locations in New York City. To alleviate the substantial pixel-wise annotation efforts, we propose an efficient street-view image annotation pipeline that leverages the existing label maps of satellite view and the transformation relations between different views (satellite, panorama, and mono-view). With the new OmniCity dataset, we provide benchmarks for a variety of tasks including building footprint extraction, height estimation, and building plane/instance/fine-grained segmentation. Compared with the existing multi-level and multi-view benchmarks, OmniCity contains a larger number of images with richer annotation types and more views, provides more benchmark results of state-of-the-art models, and introduces a novel task for fine-grained building instance segmentation on street-level panorama images. Moreover, OmniCity provides new problem settings for existing tasks, such as cross-view image matching, synthesis, segmentation, detection, etc., and facilitates the developing of new methods for large-scale city understanding, reconstruction, and simulation. The OmniCity dataset as well as the benchmarks will be available at https://city-super.github.io/omnicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL