A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts

要約

機械学習手法は、トレーニング中に、分布が変化した場合でも、サンプルをテストするために適切に一般化できる堅牢なモデルを取得しようとします。
ただし、これらの方法は、未知のテスト分布によるパフォーマンスの低下に悩まされることがよくあります。
新しいパラダイムであるテスト時間適応 (TTA) は、予測を行う前に、テスト中に事前トレーニング済みのモデルをラベルなしのデータに適応させる可能性があります。
このパラダイムの最近の進歩は、推論の前に自己適応モデルをトレーニングするためにラベルのないデータを利用することの大きな利点を強調しています。
この調査では、TTA をいくつかの異なるカテゴリ、つまり、テスト時 (ソースフリー) ドメイン適応、テスト時バッチ適応、オンライン テスト時適応、およびテスト時事前適応に分類します。
カテゴリごとに、高度なアルゴリズムの包括的な分類法を提供し、続いてさまざまな学習シナリオについて説明します。
さらに、TTA の関連アプリケーションを分析し、未解決の課題と将来の研究のための有望な領域について説明します。
TTA メソッドの包括的なリストは、\url{https://github.com/tim-learn/awesome-test-time-adaptation} にあります。

要約(オリジナル)

Machine learning methods strive to acquire a robust model during training that can generalize well to test samples, even under distribution shifts. However, these methods often suffer from a performance drop due to unknown test distributions. Test-time adaptation (TTA), an emerging paradigm, has the potential to adapt a pre-trained model to unlabeled data during testing, before making predictions. Recent progress in this paradigm highlights the significant benefits of utilizing unlabeled data for training self-adapted models prior to inference. In this survey, we divide TTA into several distinct categories, namely, test-time (source-free) domain adaptation, test-time batch adaptation, online test-time adaptation, and test-time prior adaptation. For each category, we provide a comprehensive taxonomy of advanced algorithms, followed by a discussion of different learning scenarios. Furthermore, we analyze relevant applications of TTA and discuss open challenges and promising areas for future research. A comprehensive list of TTA methods can be found at \url{https://github.com/tim-learn/awesome-test-time-adaptation}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google