BTSeg: Barlow Twins Regularization for Domain Adaptation in Semantic Segmentation

要約

セマンティック画像セグメンテーションは、自動運転などの多くのコンピュータ ビジョン システムにおいて重要なコンポーネントです。
このようなアプリケーションでは、悪条件 (大雨、夜間、雪、極端な照明) が特定の課題を引き起こす一方で、利用可能なデータセットでは一般に過小評価されています。
さらに多くのトレーニング データを生成するのは面倒でコストがかかり、プロセス自体も固有の偶然性の不確実性によりエラーが発生しやすくなります。
この困難な問題に対処するために、我々は、画像レベルの対応関係を弱い監視信号として利用して、悪条件に依存しないセグメンテーション モデルを学習する BTSeg を提案します。
この目的を達成するために、私たちのアプローチは教師なし学習の分野からのバーロー双子損失を使用し、同じ場所で異なる悪条件下で撮影された画像を、同じ未知の基本画像の「拡張」として扱います。
これにより、さまざまな悪条件によってもたらされる外観の変化に対して堅牢なセグメンテーション モデルのトレーニングが可能になります。
私たちは、ACDC と新しい挑戦的な ACG ベンチマークに対するアプローチを評価し、その堅牢性と一般化機能を実証します。
私たちのアプローチは、現在の最先端の方法と比較して優れたパフォーマンスを発揮すると同時に、実装とトレーニングがより簡単です。
コードは承認され次第公開されます。

要約(オリジナル)

Semantic image segmentation is a critical component in many computer vision systems, such as autonomous driving. In such applications, adverse conditions (heavy rain, night time, snow, extreme lighting) on the one hand pose specific challenges, yet are typically underrepresented in the available datasets. Generating more training data is cumbersome and expensive, and the process itself is error-prone due to the inherent aleatoric uncertainty. To address this challenging problem, we propose BTSeg, which exploits image-level correspondences as weak supervision signal to learn a segmentation model that is agnostic to adverse conditions. To this end, our approach uses the Barlow twins loss from the field of unsupervised learning and treats images taken at the same location but under different adverse conditions as ‘augmentations’ of the same unknown underlying base image. This allows the training of a segmentation model that is robust to appearance changes introduced by different adverse conditions. We evaluate our approach on ACDC and the new challenging ACG benchmark to demonstrate its robustness and generalization capabilities. Our approach performs favorably when compared to the current state-of-the-art methods, while also being simpler to implement and train. The code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google