Universal Domain Adaptation from Foundation Models

要約

基盤モデル (CLIP や DINOv2 など) は、大規模なデータ コーパスでトレーニングし、特定の下流タスクに適応することにより、広範囲の視覚タスクに関して優れた学習能力と転送能力を示しています。
しかし、興味深いのは、基礎モデルがユニバーサル ドメイン適応 (UniDA) について十分に検討されていないことです。UniDA とは、ソース ドメインのラベル付きデータとターゲット ドメインのラベルなしデータを使用してモデルを学習し、学習されたモデルがうまく適応できるようにすることです。
目的のデータに。
この論文では、基礎モデルを使用して最先端の UniDA 手法の包括的な実証研究を行います。
まず、基礎モデルはソース データのみでモデルをトレーニングするベースライン メソッドのパフォーマンスを大幅に向上させる一方で、既存の UniDA メソッドは一般にベースラインを超えて改善できないことを示します。
これは、UniDA にとって基盤モデルを使用した新たな研究の取り組みが非常に必要であることを示唆しています。
この目的を達成するために、CLIP モデル上でターゲット データを蒸留する非常にシンプルな方法を提案し、すべての UniDA ベンチマークにわたってベースラインを超える一貫した改善を達成します。
私たちの研究は、新しく提案されたユニバーサル分類率 (UCR) の評価指標に基づいて行われています。これは、しきい値や比率が不要で、既存の H スコア指標を使用するときに発生するしきい値に敏感な問題に対処します。

要約(オリジナル)

Foundation models (e.g., CLIP or DINOv2) have shown their impressive learning and transferring capabilities on a wide range of visual tasks, by training on a large corpus of data and adapting to specific downstream tasks. It is, however, interesting that foundation models have not been fully explored for universal domain adaptation (UniDA), which is to learn models using labeled data in a source domain and unlabeled data in a target one, such that the learned models can successfully adapt to the target data. In this paper, we make comprehensive empirical studies of state-of-the-art UniDA methods using foundation models. We first demonstrate that, while foundation models greatly improve the performance of the baseline methods that train the models on the source data alone, existing UniDA methods generally fail to improve over the baseline. This suggests that new research efforts are very necessary for UniDA using foundation models. To this end, we propose a very simple method of target data distillation on the CLIP model, and achieves consistent improvement over the baseline across all the UniDA benchmarks. Our studies are under a newly proposed evaluation metric of universal classification rate (UCR), which is threshold- and ratio-free and addresses the threshold-sensitive issue encountered when using the existing H-score metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google