Un-Mixing Test-Time Normalization Statistics: Combatting Label Temporal Correlation

要約

テスト時の適応方法がバッチ正規化 (BN) パラメーターの微妙な操作にますます依存する時代では、1 つの重要な前提が見落とされがちです。それは、未知のラベルに関して独立して同一に分散された (i.i.d) テスト バッチであるという前提です。
この仮定は最終的に BN 統計の偏った推定値となり、非 i.i.d.環境下でのシステムの安定性を危険にさらします。
条件。
この論文は、i.i.d からの脱却の先駆けとなります。
「Un-Mixing Test-Time Normalization Statistics」(UnMix-TNS) と呼ばれる画期的な戦略を導入することにより、このパラダイムを実現します。
UnMix-TNS は、バッチ内の各インスタンスを正規化するために使用されるインスタンスごとの統計を、混合されていない複数の統計コンポーネントと混合することで再調整します。これにより、本質的に i.i.d. をシミュレートします。
環境。
鍵となるのは、受信したテスト バッチから最も近いインスタンスを利用して、これらの統計コンポーネントを永続的に洗練する革新的なオンライン分解手順にあります。
非常に汎用的な設計である UnMix-TNS は、一連の最先端のテスト時適応手法および BN レイヤーを備えた事前トレーニング済みのアーキテクチャとシームレスに統合します。
経験的評価により、単一ドメインから継続的および混合ドメインのシフトに至るまでのさまざまなシナリオの下での UnMix-TNS の堅牢性が裏付けられています。
UnMix-TNS は、破損した実世界の非 i.i.d. を含む、時間的相関のあるテスト データ ストリームを処理する場合に優れています。
最小限のバッチサイズと個々のサンプルでも効果を維持します。
私たちの結果は、テスト時間の適応に関する新しい基準を設定し、複数のベンチマークにわたって安定性とパフォーマンスの両方が大幅に向上していることを示しています。

要約(オリジナル)

In an era where test-time adaptation methods increasingly rely on the nuanced manipulation of batch normalization (BN) parameters, one critical assumption often goes overlooked: that of independently and identically distributed (i.i.d.) test batches with respect to unknown labels. This assumption culminates in biased estimates of BN statistics and jeopardizes system stability under non-i.i.d. conditions. This paper pioneers a departure from the i.i.d. paradigm by introducing a groundbreaking strategy termed ‘Un-Mixing Test-Time Normalization Statistics’ (UnMix-TNS). UnMix-TNS re-calibrates the instance-wise statistics used to normalize each instance in a batch by mixing it with multiple unmixed statistics components, thus inherently simulating the i.i.d. environment. The key lies in our innovative online unmixing procedure, which persistently refines these statistics components by drawing upon the closest instances from an incoming test batch. Remarkably generic in its design, UnMix-TNS seamlessly integrates with an array of state-of-the-art test-time adaptation methods and pre-trained architectures equipped with BN layers. Empirical evaluations corroborate the robustness of UnMix-TNS under varied scenarios ranging from single to continual and mixed domain shifts. UnMix-TNS stands out when handling test data streams with temporal correlation, including those with corrupted real-world non-i.i.d. streams, sustaining its efficacy even with minimal batch sizes and individual samples. Our results set a new standard for test-time adaptation, demonstrating significant improvements in both stability and performance across multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google