Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation

要約

ディープ ラーニング モデルを新しいターゲット タスクに効率的に移行するための効果的な戦略として、微調整とドメイン適応が登場しました。
ただし、多くの現実のシナリオでは、ターゲット ドメイン ラベルにアクセスできません。
これは、ラベル付けされていないターゲット サンプルのみを使用する教師なしドメイン適応 (UDA) メソッドの開発につながりました。
さらに、効率とプライバシーの要件により、適応段階でのソース ドメイン データの使用が妨げられる場合もあります。
Source-Free Unsupervised Domain Adaptation (SF-UDA) として知られるこの困難な設定は、現実世界への適用の可能性があるため、研究者や実務家の間で関心を集めています。
このホワイト ペーパーでは、500 のモデルと 74 のドメイン ペアにわたる大規模な実証研究を通じて、SF-UDA の主な設計の選択肢の最初の詳細な分析を提供します。
最も重要な要因として、正規化アプローチ、事前トレーニング戦略、およびバックボーン アーキテクチャを特定します。
定量的な調査結果に基づいて、SF-UDA シナリオに最適に取り組むためのレシピを提案します。
さらに、SF-UDA は標準的なベンチマークやバックボーン アーキテクチャを超えて競争力があり、わずかなデータと計算コストで UDA と同等のパフォーマンスを発揮することを示しています。
再現性のために、完全な実験結果とコードを補足資料として含めます。

要約(オリジナル)

Fine-tuning and Domain Adaptation emerged as effective strategies for efficiently transferring deep learning models to new target tasks. However, target domain labels are not accessible in many real-world scenarios. This led to the development of Unsupervised Domain Adaptation (UDA) methods, which only employ unlabeled target samples. Furthermore, efficiency and privacy requirements may also prevent the use of source domain data during the adaptation stage. This challenging setting, known as Source-Free Unsupervised Domain Adaptation (SF-UDA), is gaining interest among researchers and practitioners due to its potential for real-world applications. In this paper, we provide the first in-depth analysis of the main design choices in SF-UDA through a large-scale empirical study across 500 models and 74 domain pairs. We pinpoint the normalization approach, pre-training strategy, and backbone architecture as the most critical factors. Based on our quantitative findings, we propose recipes to best tackle SF-UDA scenarios. Moreover, we show that SF-UDA is competitive also beyond standard benchmarks and backbone architectures, performing on par with UDA at a fraction of the data and computational cost. In the interest of reproducibility, we include the full experimental results and code as supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google