EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization

要約

本論文では、メモリ効率の良い方法で継続的なテストタイムアダプテーション（TTA）を改善する、シンプルかつ効果的なアプローチを紹介する。TTAは主にメモリが限られたエッジデバイスで実施されることがあるため、メモリの削減は極めて重要であるが、これまでのTTA研究では見落とされてきた。また、長期的な適応は、しばしば壊滅的な忘却とエラーの蓄積につながるため、実世界でのTTAの適用を妨げています。我々のアプローチは、これらの問題を解決するために、2つの要素から構成されている。まず、凍結されたオリジナルネットワークをターゲットドメインに適応させることができる軽量のメタネットワークを提示する。この新しいアーキテクチャは、バックプロパゲーションに必要な中間活性化のサイズを小さくすることで、メモリ消費を最小化する。第二に、自己蒸留型正則化により、メタネットワークの出力が凍結したオリジナルネットワークの出力から大きく逸脱しないように制御し、ソースドメインから十分に訓練された知識を保持する。この正則化は、追加のメモリを必要とせず、エラーの蓄積や壊滅的な忘却を防ぐため、長期のテスト時間適応においても安定した性能を発揮する。我々は、画像分類と意味分割タスクの様々なベンチマークにおいて、我々のシンプルかつ効果的な戦略が、他の最先端手法を凌駕することを実証する。特に、ResNet-50とWideResNet-40を用いた我々の提案手法は、最近の最先端手法であるCoTTAよりも86%と80%少ないメモリしか必要としない。

要約(オリジナル)

This paper presents a simple yet effective approach that improves continual test-time adaptation (TTA) in a memory-efficient manner. TTA may primarily be conducted on edge devices with limited memory, so reducing memory is crucial but has been overlooked in previous TTA studies. In addition, long-term adaptation often leads to catastrophic forgetting and error accumulation, which hinders applying TTA in real-world deployments. Our approach consists of two components to address these issues. First, we present lightweight meta networks that can adapt the frozen original networks to the target domain. This novel architecture minimizes memory consumption by decreasing the size of intermediate activations required for backpropagation. Second, our novel self-distilled regularization controls the output of the meta networks not to deviate significantly from the output of the frozen original networks, thereby preserving well-trained knowledge from the source domain. Without additional memory, this regularization prevents error accumulation and catastrophic forgetting, resulting in stable performance even in long-term test-time adaptation. We demonstrate that our simple yet effective strategy outperforms other state-of-the-art methods on various benchmarks for image classification and semantic segmentation tasks. Notably, our proposed method with ResNet-50 and WideResNet-40 takes 86% and 80% less memory than the recent state-of-the-art method, CoTTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL