Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data

要約

部分的なラベル空間のみをカバーするターゲット データを使用して、ソース データに出現するすべてのクラスを分類するために、事前トレーニングされたソース モデルをターゲット ドメインに適応させる学習問題を提案します。
ターゲットのエンドユーザーが適応前にすべてのクラスのデータを収集することは非現実的であるため、この問題は現実的です。
しかし、文献ではあまり注目されていません。
この問題を明らかにするために、私たちはベンチマーク データセットを構築し、広範な実験を行って固有の課題を明らかにします。
私たちはジレンマを発見しました。一方で、より優れたパフォーマンスを実現するには、新しいターゲット ドメインに適応することが重要です。
一方で、ターゲット適応データに欠落しているクラスの分類精度を維持することは、改善することはおろか、非常に困難であることがわかりました。
これに取り組むために、私たちは 2 つの重要な方向性を特定します。1) 分類勾配からドメイン勾配を解きほぐすこと、2) クラス関係を維持することです。
欠落しているクラスの精度を維持し、全体的なパフォーマンスを向上させ、部分的なターゲット データを含む事前トレーニング済みモデルの全体的な転送のための強固なベースラインを確立する、いくつかの効果的なソリューションを紹介します。

要約(オリジナル)

We propose a learning problem involving adapting a pre-trained source model to the target domain for classifying all classes that appeared in the source data, using target data that covers only a partial label space. This problem is practical, as it is unrealistic for the target end-users to collect data for all classes prior to adaptation. However, it has received limited attention in the literature. To shed light on this issue, we construct benchmark datasets and conduct extensive experiments to uncover the inherent challenges. We found a dilemma — on the one hand, adapting to the new target domain is important to claim better performance; on the other hand, we observe that preserving the classification accuracy of classes missing in the target adaptation data is highly challenging, let alone improving them. To tackle this, we identify two key directions: 1) disentangling domain gradients from classification gradients, and 2) preserving class relationships. We present several effective solutions that maintain the accuracy of the missing classes and enhance the overall performance, establishing solid baselines for holistic transfer of pre-trained models with partial target data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google