A Fourier Transform Framework for Domain Adaptation

要約

教師なしドメイン アダプテーション (UDA) を使用すると、ラベルが豊富なソース ドメインから、関連情報は含まれるがラベルが欠落しているターゲット ドメインに知識を転送できます。
既存の UDA アルゴリズムの多くは、生の画像を入力として直接使用することに問題があり、その結果、冗長な情報に過度に重点を置き、一般化能力が不十分なモデルが生成されます。
この問題に対処するために、フーリエ法 (FTF) を採用することで教師なしドメイン適応のパフォーマンスを向上させようと試みます。具体的には、FTF は主に低レベルの統計情報を保存するフーリエ スペクトルの振幅からインスピレーションを得ています。
FTF では、フーリエ ドメイン内の両方のドメインの振幅を融合することにより、ターゲット ドメインからの低レベルの情報をソース ドメインに効果的に組み込みます。
さらに、画像のバッチから特徴を抽出すると、タスクに関連するクラス固有の特徴を保持しながら、冗長な情報を削除できることがわかりました。
この観察に基づいて、初めてデータ ストリーム レベルでフーリエ変換を適用します。
複数のデータソースをさらに調整するために、相関調整の概念を導入します。
FTF 手法の有効性を評価するために、Office-31、Office-Home、ImageCLEF-DA、Office-Caltech を含むドメイン適応の 4 つのベンチマーク データセットで評価を実施しました。
当社の結果は優れたパフォーマンスを示しています。

要約(オリジナル)

By using unsupervised domain adaptation (UDA), knowledge can be transferred from a label-rich source domain to a target domain that contains relevant information but lacks labels. Many existing UDA algorithms suffer from directly using raw images as input, resulting in models that overly focus on redundant information and exhibit poor generalization capability. To address this issue, we attempt to improve the performance of unsupervised domain adaptation by employing the Fourier method (FTF).Specifically, FTF is inspired by the amplitude of Fourier spectra, which primarily preserves low-level statistical information. In FTF, we effectively incorporate low-level information from the target domain into the source domain by fusing the amplitudes of both domains in the Fourier domain. Additionally, we observe that extracting features from batches of images can eliminate redundant information while retaining class-specific features relevant to the task. Building upon this observation, we apply the Fourier Transform at the data stream level for the first time. To further align multiple sources of data, we introduce the concept of correlation alignment. To evaluate the effectiveness of our FTF method, we conducted evaluations on four benchmark datasets for domain adaptation, including Office-31, Office-Home, ImageCLEF-DA, and Office-Caltech. Our results demonstrate superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google