SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation

要約

データの手動ラベルの取得はコストがかかる可能性があるため、教師なしドメイン適応 (UDA) は、リッチ ラベル データセットから学習した知識をラベルのないターゲット データセットに転送します。
ターゲットドメインでのモデルの精度を向上させるために広範な研究が行われてきましたが、モデルの堅牢性に関する重要な問題は無視されています。
さらに悪いことに、モデルのロバスト性を改善するための従来の敵対的トレーニング (AT) 方法は、教師付き損失関数によって生成される敵対的サンプルでモデルをトレーニングするため、UDA シナリオには適用できません。
このホワイト ペーパーでは、UDA モデルの敵対的ロバスト性を改善するための、SRoUDA という名前の新しいメタ セルフ トレーニング パイプラインを紹介します。
自己トレーニング パラダイムに基づいて、SRoUDA は、開発されたランダム マスク増強 (RMA) を使用してソース ラベル付きデータとターゲットのラベルなしデータに UDA ベースラインを適用することにより、ソース モデルの事前トレーニングから開始し、その後、疑似ラベル付きの敵対的ターゲット モデル トレーニングを交互に行います。
メタステップによるターゲットデータとソースモデルの微調整。
セルフトレーニングにより UDA に AT を直接組み込むことができますが、SRoUDA のメタステップは、ノイズの多い疑似ラベルからのエラー伝播を軽減するのにさらに役立ちます。
さまざまなベンチマーク データセットでの広範な実験により、SRoUDA の最先端のパフォーマンスが実証され、クリーンな精度を損なうことなく、モデルの堅牢性を大幅に向上させることができます。
コードは https://github.com/Vision で入手できます。

要約(オリジナル)

As acquiring manual labels on data could be costly, unsupervised domain adaptation (UDA), which transfers knowledge learned from a rich-label dataset to the unlabeled target dataset, is gaining increasing popularity. While extensive studies have been devoted to improving the model accuracy on target domain, an important issue of model robustness is neglected. To make things worse, conventional adversarial training (AT) methods for improving model robustness are inapplicable under UDA scenario since they train models on adversarial examples that are generated by supervised loss function. In this paper, we present a new meta self-training pipeline, named SRoUDA, for improving adversarial robustness of UDA models. Based on self-training paradigm, SRoUDA starts with pre-training a source model by applying UDA baseline on source labeled data and taraget unlabeled data with a developed random masked augmentation (RMA), and then alternates between adversarial target model training on pseudo-labeled target data and finetuning source model by a meta step. While self-training allows the direct incorporation of AT in UDA, the meta step in SRoUDA further helps in mitigating error propagation from noisy pseudo labels. Extensive experiments on various benchmark datasets demonstrate the state-of-the-art performance of SRoUDA where it achieves significant model robustness improvement without harming clean accuracy. Code is available at https://github.com/Vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google