Universal Domain Adaptation via Compressive Attention Matching

要約

タイトル：コンプレッシブ・アテンション・マッチングによる普遍的ドメイン適応

要約：
– 普遍的ドメイン適応(UniDA)は、ラベルセットについて事前知識を持たずにソースドメインから知識を転送することを目的としています。
– 問題は、ターゲットサンプルが共通のカテゴリに属するかどうかをどのように判断するかです。
– メインストリームの方法は、サンプルの特徴に基づいて判断を行うため、画像中の重要な局所的なオブジェクトを無視することで、限定された精度を引き起こします。
– これに対処するために、我々は、Vision Transformerのセルフアテンションメカニズムを利用して、重要なオブジェクト情報をキャプチャするためのUniversal Attention Matching (UniAM)フレームワークを提案します。
– 提案されたフレームワークは、アテンションを圧縮的に表現することで、コア情報を探索するための新しいCompressive Attention Matching (CAM)アプローチを導入します。
– さらに、CAMは、サンプルの共通性を決定するための残差ベースの測定を組み込んでいます。
– メジャーなベンチマークデータセットでの広範な実験により、UniAMが現在の最先端の方法を凌駕することが示されています。そして、UniAMは、ビジョン・トランスフォーマーの注目を直接使用して分類タスクを行う最初の方法です。

要約(オリジナル)

Universal domain adaptation (UniDA) aims to transfer knowledge from the source domain to the target domain without any prior knowledge about the label set. The challenge lies in how to determine whether the target samples belong to common categories. The mainstream methods make judgments based on the sample features, which overemphasizes global information while ignoring the most crucial local objects in the image, resulting in limited accuracy. To address this issue, we propose a Universal Attention Matching (UniAM) framework by exploiting the self-attention mechanism in vision transformer to capture the crucial object information. The proposed framework introduces a novel Compressive Attention Matching (CAM) approach to explore the core information by compressively representing attentions. Furthermore, CAM incorporates a residual-based measurement to determine the sample commonness. By utilizing the measurement, UniAM achieves domain-wise and category-wise Common Feature Alignment (CFA) and Target Class Separation (TCS). Notably, UniAM is the first method utilizing the attention in vision transformer directly to perform classification tasks. Extensive experiments show that UniAM outperforms the current state-of-the-art methods on various benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI