Upcycling Models under Domain and Category Shift

要約

ディープ ニューラル ネットワーク (DNN) は、ドメイン シフトとカテゴリ シフトが存在する場合、パフォーマンスが低下することがよくあります。
DNN をアップサイクルしてターゲット タスクに適応させる方法は、依然として重要な未解決の問題です。
教師なしドメイン アダプテーション (UDA)、特に最近提案されたソースフリー ドメイン アダプテーション (SFDA) は、この問題に対処するための有望なテクノロジになりました。
それにもかかわらず、既存の SFDA メソッドでは、ソース ドメインとターゲット ドメインが同じラベル スペースを共有する必要があるため、バニラのクローズド セット設定にのみ適用されます。
このホワイト ペーパーでは、さらに一歩進んで、ソースフリー ユニバーサル ドメイン アダプテーション (SF-UniDA) について説明します。
目標は、ドメイン シフトとカテゴリ シフトの両方で「既知の」データ サンプルを特定し、それらの「未知の」データ サンプル (ソース クラスに存在しない) を拒否することです。標準の事前トレーニング済みソース モデルからの知識のみを使用します。
この目的のために、革新的なグローバルおよびローカル クラスタリング学習手法 (GLC) を導入します。
具体的には、新しい適応型の1対すべてのグローバルクラスタリングアルゴリズムを設計して、さまざまなターゲットクラス間の区別を実現し、ローカルk-NNクラスタリング戦略を導入して負の転送を軽減します。
部分セット、オープン セット、オープン部分セット DA など、さまざまなカテゴリ シフト シナリオを使用して、複数のベンチマークで GLC の優位性を調べます。
驚くべきことに、最も困難なオープン部分セット DA シナリオでは、VisDA ベンチマークで GLC が UMAD を 14.8\% 上回っています。
コードは https://github.com/ispc-lab/GLC で入手できます。

要約(オリジナル)

Deep neural networks (DNNs) often perform poorly in the presence of domain shift and category shift. How to upcycle DNNs and adapt them to the target task remains an important open problem. Unsupervised Domain Adaptation (UDA), especially recently proposed Source-free Domain Adaptation (SFDA), has become a promising technology to address this issue. Nevertheless, existing SFDA methods require that the source domain and target domain share the same label space, consequently being only applicable to the vanilla closed-set setting. In this paper, we take one step further and explore the Source-free Universal Domain Adaptation (SF-UniDA). The goal is to identify ‘known’ data samples under both domain and category shift, and reject those ‘unknown’ data samples (not present in source classes), with only the knowledge from standard pre-trained source model. To this end, we introduce an innovative global and local clustering learning technique (GLC). Specifically, we design a novel, adaptive one-vs-all global clustering algorithm to achieve the distinction across different target classes and introduce a local k-NN clustering strategy to alleviate negative transfer. We examine the superiority of our GLC on multiple benchmarks with different category shift scenarios, including partial-set, open-set, and open-partial-set DA. Remarkably, in the most challenging open-partial-set DA scenario, GLC outperforms UMAD by 14.8\% on the VisDA benchmark. The code is available at https://github.com/ispc-lab/GLC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google