Universal Domain Adaptation via Compressive Attention Matching

要約

タイトル：圧縮注意マッチングを用いた汎用ドメイン適応

要約：

– 汎用ドメイン適応 (UniDA) は、ラベルセットの事前知識がなくても、ソースドメインからターゲットドメインへの知識転送を目指している。
– 問題は、ターゲットのサンプルが共通のカテゴリーに属しているかどうかを判断する方法をどうするかです。
– 主流のメソッドは、サンプルの特徴に基づく判断をしますが、この方法は、重要なローカルオブジェクトを無視するため、限られた精度になります。
– この問題に取り組むために、我々は、ビジョントランスフォーマーのセルフアテンションメカニズムを利用して、重要なオブジェクト情報をキャプチャするための汎用アテンションマッチング (UniAM) フレームワークを提案します。
– 提案されたフレームワークでは、圧縮表現によってコア情報を探索する新しい圧縮注意マッチング (CAM) アプローチを導入しています。
– さらに、CAM は、サンプルの共通性を決定するための残差ベースの測定を組み込んでいます。
– UniAM は、測定を利用して、ドメインワイズおよびカテゴリワイズの共通特徴の整列 (CFA) とターゲットクラスの分離 (TCS) を実現します。
– 特筆すべきことに、UniAM は、ビジョントランスフォーマーの注意を直接分類タスクに使用する最初の方法です。
– 幅広い実験が、UniAM がさまざまなベンチマークデータセットで現在の最新の方法よりも優れた性能を発揮することを示しています。

要約(オリジナル)

Universal domain adaptation (UniDA) aims to transfer knowledge from the source domain to the target domain without any prior knowledge about the label set. The challenge lies in how to determine whether the target samples belong to common categories. The mainstream methods make judgments based on the sample features, which overemphasizes global information while ignoring the most crucial local objects in the image, resulting in limited accuracy. To address this issue, we propose a Universal Attention Matching (UniAM) framework by exploiting the self-attention mechanism in vision transformer to capture the crucial object information. The proposed framework introduces a novel Compressive Attention Matching (CAM) approach to explore the core information by compressively representing attentions. Furthermore, CAM incorporates a residual-based measurement to determine the sample commonness. By utilizing the measurement, UniAM achieves domain-wise and category-wise Common Feature Alignment (CFA) and Target Class Separation (TCS). Notably, UniAM is the first method utilizing the attention in vision transformer directly to perform classification tasks. Extensive experiments show that UniAM outperforms the current state-of-the-art methods on various benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI