Attention-based Class-Conditioned Alignment for Multi-Source Domain Adaptation of Object Detectors

要約

オブジェクト検出 (OD) のドメイン適応方法は、ソース ドメインとターゲット ドメイン全体での機能の調整を促進することで、分布の変化の影響を軽減することを目指しています。
マルチソース ドメイン アダプテーション (MSDA) により、複数の注釈付きソース データセットとラベルのないターゲット データを活用して、検出モデルの精度と堅牢性を向上させることができます。
OD 用のほとんどの最先端の MSDA メソッドは、クラスに依存しない方法で機能の調整を実行します。
ドメイン間でオブジェクトの外観が異なるため、オブジェクトには固有のモーダル情報があるため、これは困難です。
最近のプロトタイプベースのアプローチでは、クラスごとの調整が提案されていますが、不均衡なデータによる適応に悪影響を与える可能性がある、ノイズの多い疑似ラベルによるエラーの蓄積に悩まされています。
これらの制限を克服するために、ドメイン全体で各オブジェクト カテゴリのインスタンスを調整する、MSDA 用のアテンション ベースのクラス条件付き調整方法を提案します。
特に、敵対的ドメイン分類器と組み合わせたアテンション モジュールにより、ドメイン不変およびクラス固有のインスタンス表現を学習できます。
複数のベンチマーク MSDA データセットでの実験結果は、私たちの方法が最先端の方法よりも優れており、概念的に単純なクラス条件付け方法を使用してクラスの不均衡に対して堅牢であることを示しています。
私たちのコードは https://github.com/imatif17/ACIA で入手できます。

要約(オリジナル)

Domain adaptation methods for object detection (OD) strive to mitigate the impact of distribution shifts by promoting feature alignment across source and target domains. Multi-source domain adaptation (MSDA) allows leveraging multiple annotated source datasets and unlabeled target data to improve the accuracy and robustness of the detection model. Most state-of-the-art MSDA methods for OD perform feature alignment in a class-agnostic manner. This is challenging since the objects have unique modal information due to variations in object appearance across domains. A recent prototype-based approach proposed a class-wise alignment, yet it suffers from error accumulation due to noisy pseudo-labels that can negatively affect adaptation with imbalanced data. To overcome these limitations, we propose an attention-based class-conditioned alignment method for MSDA that aligns instances of each object category across domains. In particular, an attention module coupled with an adversarial domain classifier allows learning domain-invariant and class-specific instance representations. Experimental results on multiple benchmarking MSDA datasets indicate that our method outperforms the state-of-the-art methods and is robust to class imbalance using a conceptually simple class-conditioning method. Our code is available at https://github.com/imatif17/ACIA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google