On Fine-Tuned Deep Features for Unsupervised Domain Adaptation

要約

教師なしドメイン適応 (UDA) に対する以前の特徴変換ベースのアプローチでは、特定のドメイン適応タスクの特定のソースまたはターゲット ドメイン データでそれらを微調整することなく、事前トレーニング済みのディープ モデルによって抽出されたディープ フィーチャを使用します。
対照的に、エンドツーエンドの学習ベースのアプローチは、事前トレーニング済みのバックボーンとカスタマイズされた適応モジュールを同時に最適化し、UDA のドメイン不変機能を学習します。
この作業では、微調整された機能と機能変換ベースの UDA メソッドを組み合わせて、ドメイン適応パフォーマンスを向上させる可能性を探ります。
具体的には、一般的なプログレッシブ擬似ラベリング技術を微調整フレームワークに統合して、微調整された機能を抽出し、その後、最先端の機能変換ベースのドメイン適応法 SPL (選択的擬似ラベリング) で使用されます。
ResNet-50/101 および DeiT-small/base を含む複数のディープ モデルを使用した徹底的な実験が実施され、微調整された機能と SPL の組み合わせがいくつかのベンチマーク データセットで最先端のパフォーマンスを達成できることが実証されています。

要約(オリジナル)

Prior feature transformation based approaches to Unsupervised Domain Adaptation (UDA) employ the deep features extracted by pre-trained deep models without fine-tuning them on the specific source or target domain data for a particular domain adaptation task. In contrast, end-to-end learning based approaches optimise the pre-trained backbones and the customised adaptation modules simultaneously to learn domain-invariant features for UDA. In this work, we explore the potential of combining fine-tuned features and feature transformation based UDA methods for improved domain adaptation performance. Specifically, we integrate the prevalent progressive pseudo-labelling techniques into the fine-tuning framework to extract fine-tuned features which are subsequently used in a state-of-the-art feature transformation based domain adaptation method SPL (Selective Pseudo-Labeling). Thorough experiments with multiple deep models including ResNet-50/101 and DeiT-small/base are conducted to demonstrate the combination of fine-tuned features and SPL can achieve state-of-the-art performance on several benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google