IDPL: Intra-subdomain adaptation adversarial learning segmentation method based on Dynamic Pseudo Labels

要約

ドメイン オフセットの問題を解決するために、教師なしドメイン適応 (UDA) が画像セマンティック セグメンテーションに適用されています。
ただし、認識精度が低い一部の難しいカテゴリでは、セグメンテーション効果はまだ理想的ではありません。
この目的のために、この論文では、Dynamic Pseudo Labels(IDPL)に基づくサブドメイン内適応敵対的学習セグメンテーション法が提案されています。
全体のプロセスは 3 つのステップで構成されます。まず、インスタンス レベルの疑似ラベル動的生成モジュールが提案されます。これは、グローバル クラスとローカル インスタンスのクラス マッチング情報を融合し、各クラスの最適なしきい値を適応的に生成し、高品質の疑似ラベルを取得します。
ラベル。
第二に,インスタンス信頼度に基づくサブドメイン分類子モジュールを構築した.これは,簡単なインスタンスと難しいインスタンスの相対的な割合に従ってターゲットドメインを簡単なサブドメインと難しいサブドメインに動的に分割することができる.
最後に、自己注意に基づくサブドメインの敵対的学習モジュールを提案します。
マルチヘッド自己注意を使用して、生成された高品質の疑似ラベルを使用して、クラス レベルで簡単なサブドメインと難しいサブドメインに立ち向かい、ターゲット ドメインの高エントロピー領域で難しいカテゴリの特徴のマイニングに集中します。
サブドメイン間のクラス レベルの条件付き分布の調整を促進し、難しいカテゴリのセグメンテーション パフォーマンスを向上させます。
難しいカテゴリの場合、実験結果は、IDPL のパフォーマンスが他の最新の主流の方法と比較して大幅に改善されることを示しています。

要約(オリジナル)

Unsupervised domain adaptation(UDA) has been applied to image semantic segmentation to solve the problem of domain offset. However, in some difficult categories with poor recognition accuracy, the segmentation effects are still not ideal. To this end, in this paper, Intra-subdomain adaptation adversarial learning segmentation method based on Dynamic Pseudo Labels(IDPL) is proposed. The whole process consists of 3 steps: Firstly, the instance-level pseudo label dynamic generation module is proposed, which fuses the class matching information in global classes and local instances, thus adaptively generating the optimal threshold for each class, obtaining high-quality pseudo labels. Secondly, the subdomain classifier module based on instance confidence is constructed, which can dynamically divide the target domain into easy and difficult subdomains according to the relative proportion of easy and difficult instances. Finally, the subdomain adversarial learning module based on self-attention is proposed. It uses multi-head self-attention to confront the easy and difficult subdomains at the class level with the help of generated high-quality pseudo labels, so as to focus on mining the features of difficult categories in the high-entropy region of target domain images, which promotes class-level conditional distribution alignment between the subdomains, improving the segmentation performance of difficult categories. For the difficult categories, the experimental results show that the performance of IDPL is significantly improved compared with other latest mainstream methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google