In Search of Lost Online Test-time Adaptation: A Survey

要約

このペーパーでは、バッチ到着時に機械学習モデルを新しいデータ分布に適応させることに焦点を当てたパラダイムであるオンライン テスト時間適応 (OTTA) に関する包括的な調査を紹介します。
最近 OTTA 手法が急増しているにもかかわらず、この分野はあいまいな設定、時代遅れのバックボーン、一貫性のないハイパーパラメータ調整などの問題に悩まされており、実際の課題がわかりにくくなり、再現性が困難になっています。
明確さと厳密な比較のために、OTTA 技術を 3 つの主要なカテゴリに分類し、真に効果的な戦略を発見するために強力な Vision Transformer (ViT) バックボーンを使用してそれらをベンチマークの対象にします。
当社のベンチマークは、CIFAR-10/100-C や ImageNet-C などの従来の破損したデータセットだけでなく、CIFAR-10.1 や CIFAR-10-Warehouse に具体化された現実世界の変化にも及び、検索エンジン全体の変動や拡散モデルによる合成データをカプセル化しています。
。
オンライン シナリオの効率を評価するために、FLOP を含む新しい評価指標を導入し、適応精度と計算オーバーヘッドの間のトレードオフに光を当てます。
私たちの発見は既存の文献とは異なり、次のことを示しています。(1) 変圧器は多様なドメインシフトに対して高い回復力を示す、(2) 多くの OTTA 手法の有効性は十分なバッチサイズに依存する、(3) 最適化における安定性と摂動に対する耐性が重要である
これらの洞察に動機付けられて、私たちは将来の研究の有望な方向性を指摘しました。
ソース コードは https://github.com/Jo-wang/OTTA_ViT_survey から入手できます。

要約(オリジナル)

In this paper, we present a comprehensive survey on online test-time adaptation (OTTA), a paradigm focused on adapting machine learning models to novel data distributions upon batch arrival. Despite the proliferation of OTTA methods recently, the field is mired in issues like ambiguous settings, antiquated backbones, and inconsistent hyperparameter tuning, obfuscating the real challenges and making reproducibility elusive. For clarity and a rigorous comparison, we classify OTTA techniques into three primary categories and subject them to benchmarks using the potent Vision Transformer (ViT) backbone to discover genuinely effective strategies. Our benchmarks span not only conventional corrupted datasets such as CIFAR-10/100-C and ImageNet-C but also real-world shifts embodied in CIFAR-10.1 and CIFAR-10-Warehouse, encapsulating variations across search engines and synthesized data by diffusion models. To gauge efficiency in online scenarios, we introduce novel evaluation metrics, inclusive of FLOPs, shedding light on the trade-offs between adaptation accuracy and computational overhead. Our findings diverge from existing literature, indicating: (1) transformers exhibit heightened resilience to diverse domain shifts, (2) the efficacy of many OTTA methods hinges on ample batch sizes, and (3) stability in optimization and resistance to perturbations are critical during adaptation, especially when the batch size is 1. Motivated by these insights, we pointed out promising directions for future research. The source code is made available: https://github.com/Jo-wang/OTTA_ViT_survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google