Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization

要約

テスト時適応は、ソース ドメイン モデルを推論段階でテスト データに適応させることを目的としており、目に見えない破損への適応に成功することが実証されています。
ただし、より困難な現実世界のシナリオでは、これらの試みは失敗する可能性があります。
既存の研究では、主に非 i.i.d の下での実世界のテスト時間の適応を考慮しています。
データ ストリームと継続的なドメイン シフト。
この作業では、まず既存の現実世界の TTA プロトコルをグローバルにクラスの不均衡なテスト セットで補完します。
すべての設定を組み合わせると、既存の方法に新たな課題が生じることを示します。
私たちは、最先端の手法の失敗は、まず正規化層を不均衡なテストデータに無差別に適応させることによって引き起こされると主張します。
この欠点を解決するために、推論段階で通常のバッチノルムを置き換えるバランスの取れたバッチノルム層を提案します。
新しいバッチノルム層は、多数派のクラスに偏ることなく適応できます。
さらに、ラベルなしデータから学習する自己トレーニング (ST) の成功からインスピレーションを得て、ST をテスト時の適応に適応させます。
ただし、ST だけでは過剰適応になる傾向があり、継続的なドメイン シフトの下ではパフォーマンス低下の原因となります。
したがって、アンカー損失を使用してモデルの更新を正規化することで、継続的なドメインシフトの下での自己学習を改善することを提案します。
TRIBE と呼ばれる最終的な TTA モデルは、バランスの取れたバッチノルム層を備えたトライネット アーキテクチャに基づいて構築されています。
実際の TTA 設定を表す 4 つのデータセットで TRIBE を評価します。
TRIBE は、複数の評価プロトコルにわたって一貫して最先端のパフォーマンスを達成します。
コードは \url{https://github.com/Gorilla-Lab-SCUT/TRIBE} で入手できます。

要約(オリジナル)

Test-Time Adaptation aims to adapt source domain model to testing data at inference stage with success demonstrated in adapting to unseen corruptions. However, these attempts may fail under more challenging real-world scenarios. Existing works mainly consider real-world test-time adaptation under non-i.i.d. data stream and continual domain shift. In this work, we first complement the existing real-world TTA protocol with a globally class imbalanced testing set. We demonstrate that combining all settings together poses new challenges to existing methods. We argue the failure of state-of-the-art methods is first caused by indiscriminately adapting normalization layers to imbalanced testing data. To remedy this shortcoming, we propose a balanced batchnorm layer to swap out the regular batchnorm at inference stage. The new batchnorm layer is capable of adapting without biasing towards majority classes. We are further inspired by the success of self-training~(ST) in learning from unlabeled data and adapt ST for test-time adaptation. However, ST alone is prone to over adaption which is responsible for the poor performance under continual domain shift. Hence, we propose to improve self-training under continual domain shift by regularizing model updates with an anchored loss. The final TTA model, termed as TRIBE, is built upon a tri-net architecture with balanced batchnorm layers. We evaluate TRIBE on four datasets representing real-world TTA settings. TRIBE consistently achieves the state-of-the-art performance across multiple evaluation protocols. The code is available at \url{https://github.com/Gorilla-Lab-SCUT/TRIBE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google