Domain Generalization via Frequency-domain-based Feature Disentanglement and Interaction

要約

分布外データへの適応は、i.i.d。に強く依存するすべての統計学習アルゴリズムにとってのメタチャレンジです。
予測。
それは、現実的なアプリケーションで避けられない人件費と信頼の危機につながります。
そのために、ドメインの一般化は、目に見えないターゲットドメインに一般化できる複数のソースドメインからドメインに関係のない知識をマイニングすることを目的としています。
この論文では、画像の周波数領域を活用することにより、2つの重要な観察結果を独自に処理します。（i）画像の高周波情報はオブジェクトのエッジ構造を表し、オブジェクトの高レベルのセマンティック情報は自然に一貫しています。
異なるドメイン間で、（ii）低周波成分はオブジェクトの滑らかな構造を保持しますが、この情報はドメインシフトの影響を受けやすくなります。
上記の観察に動機付けられて、（i）画像の高周波数と低周波数の特徴を解きほぐすエンコーダ-デコーダ構造、（ii）2つの部分からの有用な知識が効果的に協力できることを保証する情報相互作用メカニズムを紹介します。
（iii）周波数領域で機能して、周波数ごとの特徴のもつれを解くロバスト性を促進する新しいデータ拡張技術。
提案された方法は、3つの広く使用されているドメイン一般化ベンチマーク（Digit-DG、Office-Home、およびPACS）で最先端のパフォーマンスを取得します。

要約(オリジナル)

Adaptation to out-of-distribution data is a meta-challenge for all statistical learning algorithms that strongly rely on the i.i.d. assumption. It leads to unavoidable labor costs and confidence crises in realistic applications. For that, domain generalization aims at mining domain-irrelevant knowledge from multiple source domains that can generalize to unseen target domains. In this paper, by leveraging the frequency domain of an image, we uniquely work with two key observations: (i) the high-frequency information of an image depicts object edge structure, which preserves high-level semantic information of the object is naturally consistent across different domains, and (ii) the low-frequency component retains object smooth structure, while this information is susceptible to domain shifts. Motivated by the above observations, we introduce (i) an encoder-decoder structure to disentangle high- and low-frequency feature of an image, (ii) an information interaction mechanism to ensure the helpful knowledge from both two parts can cooperate effectively, and (iii) a novel data augmentation technique that works on the frequency domain to encourage the robustness of frequency-wise feature disentangling. The proposed method obtains state-of-the-art performance on three widely used domain generalization benchmarks (Digit-DG, Office-Home, and PACS).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google