Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach

要約

ドメイン一般化 (DG) 問題に取り組むには、ドメイン適応 (DA) タスクとして問題を提起します。このタスクでは、最悪の場合のターゲット ドメインを敵対的に合成し、モデルをその最悪の場合のドメインに適応させ、それによってモデルのロバスト性を向上させます。
困難でありながらセマンティクスを維持するデータを合成するために、フーリエ振幅画像を生成し、それらをソース ドメインの位相画像と組み合わせます。これは、振幅スペクトルが主に画像のスタイルを決定し、位相データが主に画像のセマンティクスをキャプチャするという信号処理からの広く信じられている推測を利用しています。
適応のために最悪のケースのドメインを合成するために、分類器と振幅発生器を敵対的にトレーニングします。
具体的には、ターゲット ドメインのパフォーマンスをモデル仮説空間内の分類子の不一致に関連付ける DA の最大分類子不一致 (MCD) 原則を利用します。
ベイジアン仮説モデリングにより、モデル仮説空間をソース ドメインが与えられた分類子の事後分布として効果的に表現し、敵対的 MCD 最小化を実行可能にします。
大規模な DomainNet データセットを含む DomainBed ベンチマークでは、提案されたアプローチにより、最先端技術よりも大幅に改善されたドメイン一般化パフォーマンスが得られます。

要約(オリジナル)

We tackle the domain generalisation (DG) problem by posing it as a domain adaptation (DA) task where we adversarially synthesise the worst-case target domain and adapt a model to that worst-case domain, thereby improving the model’s robustness. To synthesise data that is challenging yet semantics-preserving, we generate Fourier amplitude images and combine them with source domain phase images, exploiting the widely believed conjecture from signal processing that amplitude spectra mainly determines image style, while phase data mainly captures image semantics. To synthesise a worst-case domain for adaptation, we train the classifier and the amplitude generator adversarially. Specifically, we exploit the maximum classifier discrepancy (MCD) principle from DA that relates the target domain performance to the discrepancy of classifiers in the model hypothesis space. By Bayesian hypothesis modeling, we express the model hypothesis space effectively as a posterior distribution over classifiers given the source domains, making adversarial MCD minimisation feasible. On the DomainBed benchmark including the large-scale DomainNet dataset, the proposed approach yields significantly improved domain generalisation performance over the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google