Persistent Test-time Adaptation in Recurring Testing Scenarios

要約

現在のテスト時間適応 (TTA) アプローチは、継続的に変化する環境に適応することを目的としています。
しかし、TTA 手法が長期間にわたって適応性を維持できるかどうかは不明です。
この質問に答えるために、診断設定である **定期的な TTA** を導入します。この設定では、環境が変化するだけでなく、時間の経過とともに繰り返し、広範なデータ ストリームが作成されます。
この設定により、TTA モデルを定期的に以前のテスト環境にさらした場合の最も基本的なシナリオで、TTA モデルのエラーの蓄積を調べることができます。
さらに、単純だが代表的な $\epsilon$-**摂動ガウス混合モデル分類子** で TTA プロセスをシミュレーションし、段階的なパフォーマンス低下に寄与するデータセットとアルゴリズムに依存する要因について理論的な洞察を導き出します。
私たちの調査の結果、**永続的 TTA (PeTTA)** を提案するに至りました。これは、モデルが崩壊に向かって発散しつつあるときを感知し、適応戦略を調整して、適応とモデル崩壊防止という 2 つの目的の間のバランスを取るものです。
生涯にわたる TTA シナリオに直面した場合、既存のアプローチよりも PeTTA が優れた安定性を持っていることが、さまざまなベンチマークに関する包括的な実験で実証されています。

要約(オリジナル)

Current test-time adaptation (TTA) approaches aim to adapt to environments that change continuously. Yet, it is unclear whether TTA methods can maintain their adaptability over prolonged periods. To answer this question, we introduce a diagnostic setting – **recurring TTA** where environments not only change but also recur over time, creating an extensive data stream. This setting allows us to examine the error accumulation of TTA models, in the most basic scenario, when they are regularly exposed to previous testing environments. Furthermore, we simulate a TTA process on a simple yet representative $\epsilon$-**perturbed Gaussian Mixture Model Classifier**, deriving theoretical insights into the dataset- and algorithm-dependent factors contributing to gradual performance degradation. Our investigation leads us to propose **persistent TTA (PeTTA)**, which senses when the model is diverging towards collapse and adjusts the adaptation strategy, striking a balance between the dual objectives of adaptation and model collapse prevention. The supreme stability of PeTTA over existing approaches, in the face of lifelong TTA scenarios, has been demonstrated over comprehensive experiments on various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google