Few-shot Fine-tuning is All You Need for Source-free Domain Adaptation

要約

タイトル: 「Few-shot Fine-tuning is All You Need for Source-free Domain Adaptation」
要約:
– 著者らは、ラベルの付いたソースデータが常に利用可能であると仮定する unsupervised domain adaptation (UDA) と比較して、ソースフリーアプローチである source-free unsupervised domain adaptation (SFUDA) の方が実用的であると指摘している。
– しかし、現存の SFUDA 法には、最適なハイパーパラメータを決定する原理的な方法がなく、また、ターゲットデータがクローズド・セット及びソースデータと同一のラベル分布を持たない場合には性能が劣化するなどの制限があることが指摘されている。
– これらの制限は、SFUDA が全てターゲットデータに依存していることが原因である。
– 著者らは、少数のラベルデータを用いたファインチューニングがSFUDAの制限を回避する実用的で信頼性の高い解決策であると主張している。少数のラベルデータで注意深くファインチューニングしたモデルは、オーバーフィットすることはなく、サンプリングバイアスの影響もほとんど受けないとされる。
– 実験結果は、少数のラベルデータを用いたファインチューニングのアプローチが、SFUDAの標準設定下では同等なパフォーマンスを示し、現実的なシナリオ下では比較的高いパフォーマンスを発揮することを示している。
– 著者らは上記の有用性を示す実験結果を提供し、その実用的な利用性を高めるためにGitHubでコードを公開している。

要約(オリジナル)

Recently, source-free unsupervised domain adaptation (SFUDA) has emerged as a more practical and feasible approach compared to unsupervised domain adaptation (UDA) which assumes that labeled source data are always accessible. However, significant limitations associated with SFUDA approaches are often overlooked, which limits their practicality in real-world applications. These limitations include a lack of principled ways to determine optimal hyperparameters and performance degradation when the unlabeled target data fail to meet certain requirements such as a closed-set and identical label distribution to the source data. All these limitations stem from the fact that SFUDA entirely relies on unlabeled target data. We empirically demonstrate the limitations of existing SFUDA methods in real-world scenarios including out-of-distribution and label distribution shifts in target data, and verify that none of these methods can be safely applied to real-world settings. Based on our experimental results, we claim that fine-tuning a source pretrained model with a few labeled data (e.g., 1- or 3-shot) is a practical and reliable solution to circumvent the limitations of SFUDA. Contrary to common belief, we find that carefully fine-tuned models do not suffer from overfitting even when trained with only a few labeled data, and also show little change in performance due to sampling bias. Our experimental results on various domain adaptation benchmarks demonstrate that the few-shot fine-tuning approach performs comparatively under the standard SFUDA settings, and outperforms comparison methods under realistic scenarios. Our code is available at https://github.com/daintlab/fewshot-SFDA .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI