3D-PL: Domain Adaptive Depth Estimation with 3D-aware Pseudo-Labeling

要約

単眼深度推定の場合、実際のデータのグラウンド トゥルースを取得することは容易ではないため、教師あり合成データを使用したドメイン適応法が一般的に採用されています。
ただし、実際のデータからの監視が不足しているため、これでも大きなドメイン ギャップが生じる可能性があります。
この論文では、直接的な監視を提供するために、実際のデータから深さの信頼できる疑似グラウンド トゥルースを生成することにより、ドメイン適応フレームワークを開発します。
具体的には、疑似ラベリングの 2 つのメカニズムを提案します。
2) 3D 空間で深度値を完成させることを学習するポイント クラウド補完ネットワークを介した 3D 対応疑似ラベル。これにより、シーン内の構造情報をより多く提供して、より信頼性の高い疑似ラベルを改良および生成します。
実験では、トレーニング中のステレオペアの使用を含む、さまざまな設定で、疑似ラベル付け方法が深度推定を改善することを示しています。
さらに、提案された方法は、現実世界のデータセットにおけるいくつかの最先端の教師なしドメイン適応アプローチに対して有利に機能します。

要約(オリジナル)

For monocular depth estimation, acquiring ground truths for real data is not easy, and thus domain adaptation methods are commonly adopted using the supervised synthetic data. However, this may still incur a large domain gap due to the lack of supervision from the real data. In this paper, we develop a domain adaptation framework via generating reliable pseudo ground truths of depth from real data to provide direct supervisions. Specifically, we propose two mechanisms for pseudo-labeling: 1) 2D-based pseudo-labels via measuring the consistency of depth predictions when images are with the same content but different styles; 2) 3D-aware pseudo-labels via a point cloud completion network that learns to complete the depth values in the 3D space, thus providing more structural information in a scene to refine and generate more reliable pseudo-labels. In experiments, we show that our pseudo-labeling methods improve depth estimation in various settings, including the usage of stereo pairs during training. Furthermore, the proposed method performs favorably against several state-of-the-art unsupervised domain adaptation approaches in real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google