Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions

要約

不利な視覚条件で記録された画像に対する高密度のピクセル レベルのセマンティック アノテーションが不足しているため、そのような画像のセマンティック セグメンテーションのための教師なしドメイン適応 (UDA) に強い関心が寄せられています。
UDA は、通常の条件でトレーニングされたモデルをターゲットの悪条件ドメインに適合させます。
一方、運転シーンを含む複数のデータセットは、複数の条件にわたって同じシーンの対応する画像を提供します。これは、ドメイン適応のための弱い監視の形式として機能します。
これらのクロスドメイン対応を活用する自己トレーニングベースのUDAメソッドの一般的な拡張であるRefignを提案します。
Refign は 2 つのステップで構成されます。(1) 不確実性を認識した密なマッチング ネットワークを使用して正常な状態の画像を対応する悪条件の画像に位置合わせし、(2) 適応ラベル補正メカニズムを使用して正常な予測で逆の予測を調整します。
カスタム モジュールを設計して両方のステップを合理化し、ACDC や Dark Zurich などのいくつかの悪条件ベンチマークでドメイン適応セマンティック セグメンテーションの新しい最先端を設定します。
このアプローチは、余分なトレーニング パラメーターを導入せず、最小限の計算オーバーヘッド (トレーニング中のみ) を導入し、任意の自己トレーニング ベースの UDA メソッドを改善するためのドロップイン拡張機能として使用できます。
コードは https://github.com/brdav/refign で入手できます。

要約(オリジナル)

Due to the scarcity of dense pixel-level semantic annotations for images recorded in adverse visual conditions, there has been a keen interest in unsupervised domain adaptation (UDA) for the semantic segmentation of such images. UDA adapts models trained on normal conditions to the target adverse-condition domains. Meanwhile, multiple datasets with driving scenes provide corresponding images of the same scenes across multiple conditions, which can serve as a form of weak supervision for domain adaptation. We propose Refign, a generic extension to self-training-based UDA methods which leverages these cross-domain correspondences. Refign consists of two steps: (1) aligning the normal-condition image to the corresponding adverse-condition image using an uncertainty-aware dense matching network, and (2) refining the adverse prediction with the normal prediction using an adaptive label correction mechanism. We design custom modules to streamline both steps and set the new state of the art for domain-adaptive semantic segmentation on several adverse-condition benchmarks, including ACDC and Dark Zurich. The approach introduces no extra training parameters, minimal computational overhead — during training only — and can be used as a drop-in extension to improve any given self-training-based UDA method. Code is available at https://github.com/brdav/refign.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google