Layer-wise Auto-Weighting for Non-Stationary Test-Time Adaptation

要約

実際のアプリケーションでは推論中にドメインのシフトが避けられないことを考えると、展開後のモデルの適応にはテスト時適応 (TTA) が不可欠です。
ただし、ターゲット分布が継続的に変化する現実世界のシナリオでは、壊滅的な忘却やエラーの蓄積などの課題が生じます。
非定常ドメイン シフトに対する既存の TTA 手法は効果的ではありますが、過剰な計算負荷が発生するため、オンデバイス設定では実用的ではありません。
この論文では、保存または集中的な適応のためのレイヤーを自律的に識別する、継続的かつ段階的な TTA のためのレイヤーごとの自動重み付けアルゴリズムを紹介します。
フィッシャー情報行列 (FIM) を活用することで、まず、無関係な層を保持しながら、対数尤度の変化に関連する層に選択的に焦点を当てる学習重みを設計します。
次に、外れ値を軽減しながら特定の層をほぼフリーズさせるための指数関数的最小最大スケーラーをさらに提案します。
これにより、忘却とエラーの蓄積が最小限に抑えられ、非定常ターゲット分布への効率的な適応が可能になります。
CIFAR-10C、CIFAR-100C、ImageNet-C での実験では、私たちの手法が計算負荷を大幅に削減しながら、従来の継続的かつ段階的な TTA アプローチよりも優れたパフォーマンスを示し、継続的または段階的に変化するターゲット ドメインに適応する際の FIM ベースの学習重みの重要性が強調されています。

要約(オリジナル)

Given the inevitability of domain shifts during inference in real-world applications, test-time adaptation (TTA) is essential for model adaptation after deployment. However, the real-world scenario of continuously changing target distributions presents challenges including catastrophic forgetting and error accumulation. Existing TTA methods for non-stationary domain shifts, while effective, incur excessive computational load, making them impractical for on-device settings. In this paper, we introduce a layer-wise auto-weighting algorithm for continual and gradual TTA that autonomously identifies layers for preservation or concentrated adaptation. By leveraging the Fisher Information Matrix (FIM), we first design the learning weight to selectively focus on layers associated with log-likelihood changes while preserving unrelated ones. Then, we further propose an exponential min-max scaler to make certain layers nearly frozen while mitigating outliers. This minimizes forgetting and error accumulation, leading to efficient adaptation to non-stationary target distribution. Experiments on CIFAR-10C, CIFAR-100C, and ImageNet-C show our method outperforms conventional continual and gradual TTA approaches while significantly reducing computational load, highlighting the importance of FIM-based learning weight in adapting to continuously or gradually shifting target domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google