A Closer Look at Smoothness in Domain Adversarial Training

要約

ドメイン敵対的トレーニングは、不変の表現を実現するために遍在しており、さまざまなドメイン適応タスクに広く使用されています。
最近、スムーズな最適化に収束する方法は、分類などの教師あり学習タスクの一般化が改善されていることを示しています。
この作業では、タスクの損失（分類、回帰など）と敵​​対的な用語の組み合わせを目的としたドメインの敵対的なトレーニングに対する滑らかさを高める定式化の効果を分析します。
（w.r.t.）タスク損失に関してスムーズな最小値に収束すると、敵対的なトレーニングが安定し、ターゲットドメインのパフォーマンスが向上することがわかります。
タスクの損失とは対照的に、私たちの分析は、スムーズな最小値に収束することを示しています。
敵対的な損失は、ターゲットドメインでの一般化が最適ではなくなります。
分析に基づいて、Smooth Domain Adversarial Training（SDAT）手順を導入します。これにより、分類タスクとオブジェクト検出タスクの両方で、既存のドメイン敵対的手法のパフォーマンスが効果的に向上します。
私たちの分析はまた、ドメインの敵対的訓練のためのコミュニティでのアダムに対するSGDの広範な使用法への洞察を提供します。

要約(オリジナル)

Domain adversarial training has been ubiquitous for achieving invariant representations and is used widely for various domain adaptation tasks. In recent times, methods converging to smooth optima have shown improved generalization for supervised learning tasks like classification. In this work, we analyze the effect of smoothness enhancing formulations on domain adversarial training, the objective of which is a combination of task loss (eg. classification, regression, etc.) and adversarial terms. We find that converging to a smooth minima with respect to (w.r.t.) task loss stabilizes the adversarial training leading to better performance on target domain. In contrast to task loss, our analysis shows that converging to smooth minima w.r.t. adversarial loss leads to sub-optimal generalization on the target domain. Based on the analysis, we introduce the Smooth Domain Adversarial Training (SDAT) procedure, which effectively enhances the performance of existing domain adversarial methods for both classification and object detection tasks. Our analysis also provides insight into the extensive usage of SGD over Adam in the community for domain adversarial training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google