A Probabilistic Framework for Lifelong Test-Time Adaptation

要約

タイトル：生涯にわたるテスト時の適応のための確率的フレームワーク
要約：

– テスト時適応（TTA）は、異なるターゲットドメインからのテスト入力を考慮して、事前にトレーニングされたソースモデルを更新する問題です。
– 現在のTTAのアプローチは、すべてのテスト入力が単一のターゲットドメインから来るという設定を前提としています。
– 実際の設定では、テスト入力の配布が時間とともに変化することがあります。また、既存のTTAのアプローチは信頼できる不確実性の推定能力がないため、ソースとターゲットドメインの間で分布シフトが発生した場合に重要です。
– PETAL（seLf-training priorを使用した確率的な生涯テスト時適応）は、生涯TTAを確率的なアプローチを用いて解決することで、信頼できる不確実性の推定能力を提供しています。
– PETALは、（1）教師モデルが生徒モデルの指数移動平均である生徒-教師フレームワークと、（2）ソースモデルを正則化器として用いた推論時にモデルを更新するものである。
– PETALは、最新のドメインの知識を保持し、エラー蓄積を減らすためのデータ駆動型パラメータ回復技術も提案しています。
– PETALは、CIFAR-10C、CIFAR-100C、ImageNetC、およびImageNet3DCCデータセットでのオンラインの生涯テスト時適応において、予測エラー率やBrierスコア、負の対数尤度などの不確実性を基にしたメトリックで、現在の最先端の方法よりも優れた結果を示しています。

要約(オリジナル)

Test-time adaptation (TTA) is the problem of updating a pre-trained source model at inference time given test input(s) from a different target domain. Most existing TTA approaches assume the setting in which the target domain is stationary, i.e., all the test inputs come from a single target domain. However, in many practical settings, the test input distribution might exhibit a lifelong/continual shift over time. Moreover, existing TTA approaches also lack the ability to provide reliable uncertainty estimates, which is crucial when distribution shifts occur between the source and target domain. To address these issues, we present PETAL (Probabilistic lifElong Test-time Adaptation with seLf-training prior), which solves lifelong TTA using a probabilistic approach, and naturally results in (1) a student-teacher framework, where the teacher model is an exponential moving average of the student model, and (2) regularizing the model updates at inference time using the source model as a regularizer. To prevent model drift in the lifelong/continual TTA setting, we also propose a data-driven parameter restoration technique which contributes to reducing the error accumulation and maintaining the knowledge of recent domains by restoring only the irrelevant parameters. In terms of predictive error rate as well as uncertainty based metrics such as Brier score and negative log-likelihood, our method achieves better results than the current state-of-the-art for online lifelong test-time adaptation across various benchmarks, such as CIFAR-10C, CIFAR-100C, ImageNetC, and ImageNet3DCC datasets. The source code for our approach is accessible at https://github.com/dhanajitb/petal.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI