Semantic-Aware Mixup for Domain Generalization

要約

タイトル：Semantic-Aware Mixup for Domain Generalization

要約：
– DNN（深層ニューラルネットワーク）は、さまざまなタスクで素晴らしいパフォーマンスを示していますが、未知のターゲットドメインに遭遇すると一般化の失敗が起こります。
– ドメイン汎化（DG）を実現する最も有望な方法の1つは、未知のターゲットデータをカバーするために、例えばmixupなどの未見のデータを生成することです。
– しかしながら、既存の研究は、セマンティックと分布空間の両方での変化の同時出現によって引き起こされる課題を見落としています。
– このような課題により、ソース分布をDNNに適合させることが困難になります。
– この問題を緩和するために、セマンティック情報とドメイン情報に依存してmixupを行うSemantic-Aware Mixup（SAM）を提案します。
– SAMの実現可能性は、フーリエベースのmixupと同じ精神を共有しています。
– SAMでは、フーリエ位相スペクトルがセマンティック情報（ラベルに関するもの）を含んでいることが期待され、フーリエ振幅スペクトルがその他の情報（スタイル情報に関するもの）を保持していることを利用します。
– この洞察力に基づいて、SAMはフーリエ位相スペクトルと振幅情報に異なるmixup戦略を適用します。
– たとえば、セマンティックとドメイン情報の両方が変化する場合、SAMは振幅スペクトルのみにmixupを行います。
– この結果、圧倒的に大きな変化を回避することができます。
– この研究では、DGベンチマークでの画像分類タスクを使って、SAMの効果を検証しました。

要約(オリジナル)

Deep neural networks (DNNs) have shown exciting performance in various tasks, yet suffer generalization failures when meeting unknown target domains. One of the most promising approaches to achieve domain generalization (DG) is generating unseen data, e.g., mixup, to cover the unknown target data. However, existing works overlook the challenges induced by the simultaneous appearance of changes in both the semantic and distribution space. Accordingly, such a challenge makes source distributions hard to fit for DNNs. To mitigate the hard-fitting issue, we propose to perform a semantic-aware mixup (SAM) for domain generalization, where whether to perform mixup depends on the semantic and domain information. The feasibility of SAM shares the same spirits with the Fourier-based mixup. Namely, the Fourier phase spectrum is expected to contain semantics information (relating to labels), while the Fourier amplitude retains other information (relating to style information). Built upon the insight, SAM applies different mixup strategies to the Fourier phase spectrum and amplitude information. For instance, SAM merely performs mixup on the amplitude spectrum when both the semantic and domain information changes. Consequently, the overwhelmingly large change can be avoided. We validate the effectiveness of SAM using image classification tasks on several DG benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI