SelectNAdapt: Support Set Selection for Few-Shot Domain Adaptation

要約

ディープ ニューラル ネットワークの一般化は、トレーニング (ソース) ドメイン データとテスト (ターゲット) ドメイン データの間で分布の変化が発生すると脆弱になります。
フューショット ドメイン適応では、ターゲット ドメインからランダムに選択され注釈が付けられたサポート セットを使用して、ソース ドメインで事前トレーニングされたディープ ニューラル ネットワークをターゲット ドメインに適応させることで、この問題を軽減します。
この論文では、事前トレーニングされたソース モデルをターゲット ドメインに効果的に適応させるために、サポート セットをランダムに選択することをさらに改善できると主張しています。
あるいは、ターゲット ドメイン サンプルの選択をキュレーションするアルゴリズムである SelectNAdapt を提案します。これは、その後、注釈が付けられ、サポート セットに含まれます。
特に、K ショット適応問題では、まず自己監視を利用してターゲット ドメイン データの特徴を学習します。
次に、学習されたターゲット ドメインの特徴のクラスごとのクラスタリング スキームを提案し、距離ベースのスコアリング関数を使用して K 個の代表的なターゲット サンプルを選択します。
最後に、擬似ラベルを利用して意味的に類似したターゲット ドメイン サンプルをクラスタリングすることで、選択のセットアップを実用的なレベルに近づけます。
私たちの実験では、関連するアプローチや標準的なランダム選択と比較した、画像認識のための 3 つの少数ショット ドメイン適応ベンチマークで有望な結果が示されました。

要約(オリジナル)

Generalisation of deep neural networks becomes vulnerable when distribution shifts are encountered between train (source) and test (target) domain data. Few-shot domain adaptation mitigates this issue by adapting deep neural networks pre-trained on the source domain to the target domain using a randomly selected and annotated support set from the target domain. This paper argues that randomly selecting the support set can be further improved for effectively adapting the pre-trained source models to the target domain. Alternatively, we propose SelectNAdapt, an algorithm to curate the selection of the target domain samples, which are then annotated and included in the support set. In particular, for the K-shot adaptation problem, we first leverage self-supervision to learn features of the target domain data. Then, we propose a per-class clustering scheme of the learned target domain features and select K representative target samples using a distance-based scoring function. Finally, we bring our selection setup towards a practical ground by relying on pseudo-labels for clustering semantically similar target domain samples. Our experiments show promising results on three few-shot domain adaptation benchmarks for image recognition compared to related approaches and the standard random selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google