Rethinking the Key Factors for the Generalization of Remote Sensing Stereo Matching Networks

要約

3D 再構成の重要なステップであるステレオ マッチングは、リモート センシング画像の強力な特徴表現により、ディープ ラーニングに完全に移行しています。
ただし、ステレオ マッチング タスクのグラウンド トゥルースは高価な航空 LiDAR データに依存しているため、教師あり学習に十分なサンプルを取得することが困難です。
さまざまなセンサーやシナリオからのクロスドメイン データに対するステレオ マッチング ネットワークの汎化能力を向上させるために、この論文では、3 つの観点から主要なトレーニング要素を研究することに専念します。
(1) トレーニングデータセットの選択では、同じセンサーからのデータを利用するのではなく、ターゲットの地域分布が類似したデータをテストセットとして選択することが重要です。
(2) モデル構造は、さまざまなサイズの特徴に柔軟に適応できるカスケード構造が好ましい。
(3) トレーニング方法については、教師なし手法の方が教師あり手法よりも一般化が良好であり、事前トレーニングされた重みをベースとして最適なモデルを維持できるように教師なし早期停止戦略を設計します。
以前の発見を裏付けるために大規模な実験が行われ、それに基づいて、良好な汎化性能を備えた教師なしステレオマッチングネットワークを提示しました。
結果を再現し、今後の作業を促進するために、ソース コードとデータセットを https://github.com/Elenairene/RKF_RSSM でリリースします。

要約(オリジナル)

Stereo matching, a critical step of 3D reconstruction, has fully shifted towards deep learning due to its strong feature representation of remote sensing images. However, ground truth for stereo matching task relies on expensive airborne LiDAR data, thus making it difficult to obtain enough samples for supervised learning. To improve the generalization ability of stereo matching networks on cross-domain data from different sensors and scenarios, in this paper, we dedicate to study key training factors from three perspectives. (1) For the selection of training dataset, it is important to select data with similar regional target distribution as the test set instead of utilizing data from the same sensor. (2) For model structure, cascaded structure that flexibly adapts to different sizes of features is preferred. (3) For training manner, unsupervised methods generalize better than supervised methods, and we design an unsupervised early-stop strategy to help retain the best model with pre-trained weights as the basis. Extensive experiments are conducted to support the previous findings, on the basis of which we present an unsupervised stereo matching network with good generalization performance. We release the source code and the datasets at https://github.com/Elenairene/RKF_RSSM to reproduce the results and encourage future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google