DELTA: degradation-free fully test-time adaptation

要約

完全なテスト時間適応は、リアルタイム推論中に事前トレーニング済みモデルをテスト ストリームに適応させることを目的としています。これは、テスト分布がトレーニング分布と異なる場合に緊急に必要になります。
適応性能を改善するために、いくつかの努力が払われてきました。
ただし、テスト時間のバッチ正規化 (BN) や自己学習などの一般的な適応方法論には、2 つの好ましくない欠陥が隠されていることがわかりました。
まず、テスト時間 BN の正規化統計は、現在受信しているテスト サンプルの影響を完全に受けているため、推定値が不正確になることがわかります。
次に、テスト時間の適応中に、パラメーターの更新がいくつかの支配的なクラスに偏っていることを示します。
独立したクラスバランスの取れたサンプルを使用した広範囲に調査されたテストストリームに加えて、(時間) 依存またはクラスの不均衡なデータなど、より複雑なテスト環境で欠陥が悪化する可能性があることをさらに観察します。
以前のアプローチは、特定のシナリオではうまく機能する一方で、他のシナリオでは障害によるパフォーマンスの低下を示していることがわかります。
このホワイト ペーパーでは、劣化のない完全なテスト時間適応のための DELTA と呼ばれるプラグイン ソリューションを提供します。これは、次の 2 つのコンポーネントで構成されます。
(ii) 最適化内のクラス バイアスに対処するように設計された動的オンライン再重み付け (DOT)。
4 つのシナリオで一般的に使用される 3 つのデータセットと、新しく導入された実世界のデータセットで、さまざまなテスト時間の適応方法を調査します。
DELTA は、すべてのシナリオに同時に対処するのに役立ち、SOTA のパフォーマンスにつながります。

要約(オリジナル)

Fully test-time adaptation aims at adapting a pre-trained model to the test stream during real-time inference, which is urgently required when the test distribution differs from the training distribution. Several efforts have been devoted to improving adaptation performance. However, we find that two unfavorable defects are concealed in the prevalent adaptation methodologies like test-time batch normalization (BN) and self-learning. First, we reveal that the normalization statistics in test-time BN are completely affected by the currently received test samples, resulting in inaccurate estimates. Second, we show that during test-time adaptation, the parameter update is biased towards some dominant classes. In addition to the extensively studied test stream with independent and class-balanced samples, we further observe that the defects can be exacerbated in more complicated test environments, such as (time) dependent or class-imbalanced data. We observe that previous approaches work well in certain scenarios while show performance degradation in others due to their faults. In this paper, we provide a plug-in solution called DELTA for Degradation-freE fuLly Test-time Adaptation, which consists of two components: (i) Test-time Batch Renormalization (TBR), introduced to improve the estimated normalization statistics. (ii) Dynamic Online re-weighTing (DOT), designed to address the class bias within optimization. We investigate various test-time adaptation methods on three commonly used datasets with four scenarios, and a newly introduced real-world dataset. DELTA can help them deal with all scenarios simultaneously, leading to SOTA performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google