Universal Domain Adaptation via Compressive Attention Matching

要約

ユニバーサル ドメイン アダプテーション (UniDA) は、ラベル セットに関する事前知識がなくても、ソース ドメインからターゲット ドメインに知識を転送することを目的としています。
課題は、対象サンプルが共通のカテゴリに属する​​かどうかをどのように判断するかにあります。
主流の方法はサンプルの特徴に基づいて判断を下すため、画像内の最も重要な局所的なオブジェクトを無視しながら全体的な情報を強調しすぎるため、精度が制限されます。
この問題に対処するために、ビジョン トランスフォーマーのセルフ アテンション メカニズムを利用して重要なオブジェクト情報をキャプチャするユニバーサル アテンション マッチング (UniAM) フレームワークを提案します。
提案されたフレームワークは、注目を圧縮的に表現することによって核となる情報を探索するための新しい圧縮注目マッチング (CAM) アプローチを導入します。
さらに、CAM にはサンプルの共通性を判断するための残差ベースの測定が組み込まれています。
この測定を利用することで、UniAM はドメイン単位およびカテゴリ単位の共通機能アラインメント (CFA) とターゲット クラス分離 (TCS) を実現します。
特に、UniAM は、ビジョン トランスフォーマーのアテンションを直接利用して分類タスクを実行する最初の方法です。
広範な実験により、UniAM がさまざまなベンチマーク データセットで現在の最先端の手法よりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Universal domain adaptation (UniDA) aims to transfer knowledge from the source domain to the target domain without any prior knowledge about the label set. The challenge lies in how to determine whether the target samples belong to common categories. The mainstream methods make judgments based on the sample features, which overemphasizes global information while ignoring the most crucial local objects in the image, resulting in limited accuracy. To address this issue, we propose a Universal Attention Matching (UniAM) framework by exploiting the self-attention mechanism in vision transformer to capture the crucial object information. The proposed framework introduces a novel Compressive Attention Matching (CAM) approach to explore the core information by compressively representing attentions. Furthermore, CAM incorporates a residual-based measurement to determine the sample commonness. By utilizing the measurement, UniAM achieves domain-wise and category-wise Common Feature Alignment (CFA) and Target Class Separation (TCS). Notably, UniAM is the first method utilizing the attention in vision transformer directly to perform classification tasks. Extensive experiments show that UniAM outperforms the current state-of-the-art methods on various benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google