A Probabilistic Framework for Lifelong Test-Time Adaptation

要約

テスト時間の適応は、ソース ドメインのデータにアクセスせずに、ターゲット ドメインからのテスト入力を使用してソースの事前トレーニング済みモデルを適応させる問題です。
既存のアプローチのほとんどは、ターゲット ドメインが固定されている設定に対処します。
さらに、これらのアプローチは、分布のシフトが発生したときに、信頼性の低い不確実性の見積もりで誤った予測を行う傾向があります。
したがって、非定常ターゲット ドメイン シフトに直面したテスト時間の適応は、非常に興味深い問題になります。
これらの問題に対処するために、部分的にデータに依存する事前確率を使用して確率論的な観点からこの問題を調べる、原理に基づいたアプローチである PETAL (事前のセルフトレーニングによる確率的寿命テスト時間適応) を提案します。
教師モデルが生徒モデルの指数移動平均である生徒-教師フレームワークは、この確率論的観点から自然に現れます。
さらに、ソース タスクに対して取得された事後分布からの知識は、正則化として機能します。
壊滅的な忘却を長期的に処理するために、フィッシャー情報行列 (FIM) に基づくデータ駆動型モデル パラメーター リセット メカニズムも提案します。
さらに、実験結果の改善は、FIM ベースのデータ駆動型パラメーター復元が、無関係なパラメーターのみを復元することにより、エラーの蓄積を減らし、最近のドメインの知識を維持することに貢献することを示唆しています。
予測エラー率と、Brier スコアや負の対数尤度などの不確実性に基づくメトリックの観点から、私たちの方法は、CIFAR などのさまざまなベンチマークにわたるオンライン生涯テスト時間適応の現在の最先端技術よりも優れた結果を達成します。
-10C、CIFAR-100C、ImageNetC、および ImageNet3DCC データセット。

要約(オリジナル)

Test-time adaptation is the problem of adapting a source pre-trained model using test inputs from a target domain without access to source domain data. Most of the existing approaches address the setting in which the target domain is stationary. Moreover, these approaches are prone to making erroneous predictions with unreliable uncertainty estimates when distribution shifts occur. Hence, test-time adaptation in the face of non-stationary target domain shift becomes a problem of significant interest. To address these issues, we propose a principled approach, PETAL (Probabilistic lifElong Test-time Adaptation with seLf-training prior), which looks into this problem from a probabilistic perspective using a partly data-dependent prior. A student-teacher framework, where the teacher model is an exponential moving average of the student model naturally emerges from this probabilistic perspective. In addition, the knowledge from the posterior distribution obtained for the source task acts as a regularizer. To handle catastrophic forgetting in the long term, we also propose a data-driven model parameter resetting mechanism based on the Fisher information matrix (FIM). Moreover, improvements in experimental results suggest that FIM based data-driven parameter restoration contributes to reducing the error accumulation and maintaining the knowledge of recent domain by restoring only the irrelevant parameters. In terms of predictive error rate as well as uncertainty based metrics such as Brier score and negative log-likelihood, our method achieves better results than the current state-of-the-art for online lifelong test time adaptation across various benchmarks, such as CIFAR-10C, CIFAR-100C, ImageNetC, and ImageNet3DCC datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google