Improving Domain Generalization in Self-supervised Monocular Depth Estimation via Stabilized Adversarial Training

要約

自己教師あり単眼深度推定 (MDE) モデルを一般化して学習することは、依然として非常に困難です。
教師あり学習一般化における敵対的拡張は成功したにもかかわらず、それを自己教師あり MDE モデルに単純に組み込むと過剰正則化が発生し、深刻なパフォーマンス低下が発生する可能性があります。
この論文では、定性分析を実施し、主な原因を明らかにします。(i) UNet に似た深度ネットワークに固有の感度、および (ii) 過剰な正則化によって引き起こされる二重最適化の競合。
これらの問題に取り組むために、私たちは安定化された競合最適化敵対的トレーニング (SCAT) と呼ばれる一般的な敵対的トレーニング フレームワークを提案します。これは、安定性と一般化の間のバランスを達成するために敵対的データ拡張を自己教師あり MDE 手法に統合します。
具体的には、ロングスキップ接続の係数を調整し、トレーニングプロセスを効果的に安定させる効果的なスケーリング深度ネットワークを考案します。
次に、敵対的勾配を段階的に統合し、衝突のない方向に向けてモデルを最適化する、衝突勾配手術戦略を提案します。
5 つのベンチマークに関する広範な実験により、SCAT が最先端のパフォーマンスを達成し、既存の自己教師あり MDE 手法の一般化能力を大幅に向上できることが実証されました。

要約(オリジナル)

Learning a self-supervised Monocular Depth Estimation (MDE) model with great generalization remains significantly challenging. Despite the success of adversarial augmentation in the supervised learning generalization, naively incorporating it into self-supervised MDE models potentially causes over-regularization, suffering from severe performance degradation. In this paper, we conduct qualitative analysis and illuminate the main causes: (i) inherent sensitivity in the UNet-alike depth network and (ii) dual optimization conflict caused by over-regularization. To tackle these issues, we propose a general adversarial training framework, named Stabilized Conflict-optimization Adversarial Training (SCAT), integrating adversarial data augmentation into self-supervised MDE methods to achieve a balance between stability and generalization. Specifically, we devise an effective scaling depth network that tunes the coefficients of long skip connection and effectively stabilizes the training process. Then, we propose a conflict gradient surgery strategy, which progressively integrates the adversarial gradient and optimizes the model toward a conflict-free direction. Extensive experiments on five benchmarks demonstrate that SCAT can achieve state-of-the-art performance and significantly improve the generalization capability of existing self-supervised MDE methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google