UAVStereo: A Multiple Resolution Dataset for Stereo Matching in UAV Scenarios

要約

ステレオ マッチングは、3D シーン再構成の基本的なタスクです。
最近、深層学習ベースの手法が、KITTI や Scene Flow などの一部のベンチマーク データセットで効果的であることが証明されました。
UAV (Unmanned Aerial Vehicles) は地表観測に一般的に利用されており、そのキャプチャされた画像は、高解像度と低高度取得により、詳細な 3D 再構成に頻繁に使用されます。
現在、主流の教師あり学習ネットワークでは、モデル パラメーターを学習するために、グラウンド トゥルース ラベルを含む大量のトレーニング データが必要です。
ただし、UAV ステレオ マッチング データセットが不足しているため、学習ベースのネットワークを UAV 画像に適用することはできません。
さらなる研究を容易にするために、この論文では、UAV 画像と LiDAR 点群によって再構築された詳細なメッシュを使用して、正確で高密度の視差マップを生成するための新しいパイプラインを提案します。
提案されたパイプラインを通じて、このペーパーでは、3 つの典型的なシーンをカバーする 34,000 を超えるステレオ画像ペアを使用して、UAVStereo と呼ばれるマルチ解像度の UAV シナリオ データセットを構築します。
私たちが知る限り、UAVStereo は UAV の低高度シナリオの最初のステレオ マッチング データセットです。
データセットには、合成ドメインから実際のドメインへの一般化を可能にする合成ステレオ ペアと実際のステレオ ペアが含まれています。
さらに、当社の UAVStereo データセットは、さまざまなセンサーや環境に対応するために、マルチ解像度とマルチシーンの画像ペアを提供します。
このホワイト ペーパーでは、従来の深層学習手法と最先端の深層学習手法を評価し、UAV シナリオの課題に対処する際の限界を強調し、将来の研究への提案を提供します。
データセットは https://github.com/rebecca0011/UAVStereo.git で入手できます

要約(オリジナル)

Stereo matching is a fundamental task for 3D scene reconstruction. Recently, deep learning based methods have proven effective on some benchmark datasets, such as KITTI and Scene Flow. UAVs (Unmanned Aerial Vehicles) are commonly utilized for surface observation, and their captured images are frequently used for detailed 3D reconstruction due to high resolution and low-altitude acquisition. At present, the mainstream supervised learning network requires a significant amount of training data with ground-truth labels to learn model parameters. However, due to the scarcity of UAV stereo matching datasets, the learning-based network cannot be applied to UAV images. To facilitate further research, this paper proposes a novel pipeline to generate accurate and dense disparity maps using detailed meshes reconstructed by UAV images and LiDAR point clouds. Through the proposed pipeline, this paper constructs a multi-resolution UAV scenario dataset, called UAVStereo, with over 34k stereo image pairs covering 3 typical scenes. As far as we know, UAVStereo is the first stereo matching dataset of UAV low-altitude scenarios. The dataset includes synthetic and real stereo pairs to enable generalization from the synthetic domain to the real domain. Furthermore, our UAVStereo dataset provides multi-resolution and multi-scene images pairs to accommodate a variety of sensors and environments. In this paper, we evaluate traditional and state-of-the-art deep learning methods, highlighting their limitations in addressing challenges in UAV scenarios and offering suggestions for future research. The dataset is available at https://github.com/rebecca0011/UAVStereo.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google