WHU-Stereo: A Challenging Benchmark for Stereo Matching of High-Resolution Satellite Images

要約

高解像度衛星画像（HRSI）のステレオマッチングは、写真測量とリモートセンシングの分野において、依然として基本的であるが困難な課題である。近年、ディープラーニング（DL）手法、特に畳み込みニューラルネットワーク（CNN）が、公共のベンチマークデータセットにおいて、ステレオマッチングに多大な可能性を示している。しかし、衛星画像のステレオマッチングのためのデータセットは少ない。本論文では、さらなる研究を促進するために、WHU-Stereoと呼ばれる、ステレオマッチングのDLネットワークの学習とテストのための挑戦的なデータセットを作成し、公開する。このデータセットは、中国のGaoFen-7衛星（GF-7）から取得した空中LiDAR点群と高解像度ステレオ画像を使用して作成されています。WHU-Stereoデータセットには1700以上のエピポーラ整流画像ペアが含まれており、中国の6つのエリアをカバーし、様々な種類の景観を含んでいます。我々は地上真値視差マップの精度を評価し、我々のデータセットが既存の最新ステレオマッチングデータセットと比較して同等の精度を達成することが証明された。その実現可能性を検証するために、実験では、手作りのSGMステレオマッチングアルゴリズムと最近のディープラーニングネットワークがWHU-Stereoデータセットでテストされた。実験の結果、ディープラーニングネットワークはうまく学習でき、ハンドクラフトSGMアルゴリズムよりも高い性能を達成し、このデータセットはリモートセンシングアプリケーションにおいて大きな可能性を持っていることが示された。WHU-Stereoデータセットは、高解像度衛星画像のステレオマッチングや、ディープラーニングモデルの性能評価のための挑戦的なベンチマークとして機能します。私たちのデータセットは、https://github.com/Sheng029/WHU-Stereo で公開されています。

要約(オリジナル)

Stereo matching of high-resolution satellite images (HRSI) is still a fundamental but challenging task in the field of photogrammetry and remote sensing. Recently, deep learning (DL) methods, especially convolutional neural networks (CNNs), have demonstrated tremendous potential for stereo matching on public benchmark datasets. However, datasets for stereo matching of satellite images are scarce. To facilitate further research, this paper creates and publishes a challenging dataset, termed WHU-Stereo, for stereo matching DL network training and testing. This dataset is created by using airborne LiDAR point clouds and high-resolution stereo imageries taken from the Chinese GaoFen-7 satellite (GF-7). The WHU-Stereo dataset contains more than 1700 epipolar rectified image pairs, which cover six areas in China and includes various kinds of landscapes. We have assessed the accuracy of ground-truth disparity maps, and it is proved that our dataset achieves comparable precision compared with existing state-of-the-art stereo matching datasets. To verify its feasibility, in experiments, the hand-crafted SGM stereo matching algorithm and recent deep learning networks have been tested on the WHU-Stereo dataset. Experimental results show that deep learning networks can be well trained and achieves higher performance than hand-crafted SGM algorithm, and the dataset has great potential in remote sensing application. The WHU-Stereo dataset can serve as a challenging benchmark for stereo matching of high-resolution satellite images, and performance evaluation of deep learning models. Our dataset is available at https://github.com/Sheng029/WHU-Stereo

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL