Unsupervised Monocular Depth Estimation in Highly Complex Environments

要約

計算知能アルゴリズムの発展に伴い、ワープした測光一貫性によって駆動される教師なし単眼深度・姿勢推定フレームワークは、日中のシナリオで素晴らしい性能を示してきた。しかし、夜間や雨天時のような困難な環境では、複雑な照明や反射のために、本質的な測光一貫性の仮説が成り立たず、上記の教師無しフレームワークをこれらの複雑なシナリオに直接適用することはできない。本論文では、非常に複雑なシナリオにおける教師なし単眼深度推定の問題を調査し、画像転送に基づく領域適応フレームワークを採用することでこの難題に対処する。日中のシナリオで学習した奥行きモデルを夜間のシナリオに適用し、特徴空間と出力空間の両方に対する制約により、奥行き復号化のための主要な特徴を学習するフレームワークを促進する。さらに、不安定な画像転送品質が領域適応に与える影響に取り組み、転送画像の品質を評価し、対応する損失を再重み付けする画像適応アプローチを提案し、適応した奥行きモデルの性能を向上させる。広範な実験により、提案する教師なしフレームワークは、非常に複雑な画像から密な深度マップを推定する際に有効であることが示された。

要約(オリジナル)

With the development of computational intelligence algorithms, unsupervised monocular depth and pose estimation framework, which is driven by warped photometric consistency, has shown great performance in the daytime scenario. While in some challenging environments, like night and rainy night, the essential photometric consistency hypothesis is untenable because of the complex lighting and reflection, so that the above unsupervised framework cannot be directly applied to these complex scenarios. In this paper, we investigate the problem of unsupervised monocular depth estimation in highly complex scenarios and address this challenging problem by adopting an image transfer-based domain adaptation framework. We adapt the depth model trained on day-time scenarios to be applicable to night-time scenarios, and constraints on both feature space and output space promote the framework to learn the key features for depth decoding. Meanwhile, we further tackle the effects of unstable image transfer quality on domain adaptation, and an image adaptation approach is proposed to evaluate the quality of transferred images and re-weight the corresponding losses, so as to improve the performance of the adapted depth model. Extensive experiments show the effectiveness of the proposed unsupervised framework in estimating the dense depth map from highly complex images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL