MatrixCity: A Large-scale City Dataset for City-scale Neural Rendering and Beyond

要約

Neural Radiance Field (NeRF) とその派生型は、ニューラル レンダリングに目覚ましい進歩をもたらしました。
最近のニューラル レンダリング作品のほとんどはオブジェクトや小規模なシーンに焦点を当てていますが、都市規模のシーン向けのニューラル レンダリング手法の開発は、現実世界の多くのアプリケーションで大きな可能性を秘めています。
しかし、この一連の研究は、包括的で高品質のデータセットが存在しないために妨げられていますが、実際の都市規模のシーンにわたってそのようなデータセットを収集することは、費用がかかり、機密性が高く、技術的に困難です。
この目的を達成するために、都市規模のニューラル レンダリング研究用の大規模で包括的で高品質な合成データセットを構築します。
Unreal Engine 5 City Sample プロジェクトを活用して、グラウンド トゥルース カメラのポーズやさまざまな追加データ モダリティを伴う、都市の航空写真と街路のビューを簡単に収集するパイプラインを開発します。
光、天候、人や車の混雑などの環境要因に対する柔軟な制御もパイプラインで利用でき、都市規模のニューラル レンダリングやそれを超えたさまざまなタスクのニーズをサポートします。
結果として得られるパイロット データセット MatrixCity には、合計サイズ $28km^2$ の 2 つの都市地図からの 67,000 枚の航空写真と 452,000 枚の街路画像が含まれています。
MatrixCity に加えて、徹底的なベンチマークも実行され、都市規模のニューラル レンダリングのタスクに固有の課題が明らかにされるだけでなく、将来の作業に向けた潜在的な改善点も強調されます。
データセットとコードは、プロジェクト ページ https://city-super.github.io/matrixcity/ で公開されます。

要約(オリジナル)

Neural radiance fields (NeRF) and its subsequent variants have led to remarkable progress in neural rendering. While most of recent neural rendering works focus on objects and small-scale scenes, developing neural rendering methods for city-scale scenes is of great potential in many real-world applications. However, this line of research is impeded by the absence of a comprehensive and high-quality dataset, yet collecting such a dataset over real city-scale scenes is costly, sensitive, and technically difficult. To this end, we build a large-scale, comprehensive, and high-quality synthetic dataset for city-scale neural rendering researches. Leveraging the Unreal Engine 5 City Sample project, we develop a pipeline to easily collect aerial and street city views, accompanied by ground-truth camera poses and a range of additional data modalities. Flexible controls over environmental factors like light, weather, human and car crowd are also available in our pipeline, supporting the need of various tasks covering city-scale neural rendering and beyond. The resulting pilot dataset, MatrixCity, contains 67k aerial images and 452k street images from two city maps of total size $28km^2$. On top of MatrixCity, a thorough benchmark is also conducted, which not only reveals unique challenges of the task of city-scale neural rendering, but also highlights potential improvements for future works. The dataset and code will be publicly available at our project page: https://city-super.github.io/matrixcity/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google