Test-time Correlation Alignment

要約

ディープニューラルネットワークは、トレーニングとテストデータの間の分布シフトにより、多くの場合、パフォーマンスの低下を経験します。
ドメインの適応はソリューションを提供しますが、プライバシーの懸念は、多くの実際のシナリオでのトレーニングデータへのアクセスを制限します。
この制限は、テスト時間適応（TTA）への関心を促進しました。これは、ラベルのないテストデータのみを使用してモデルを適応させます。
ただし、現在のTTAメソッドは、依然として実際的な課題に直面しています。（1）発生源相関が欠落しているため、相関アラインメント（サンゴ）を見落とすインスタンスごとのアラインメントへの主要な焦点。
（2）モデルの更新のための複雑なバックプロパゲーション操作により、オーバーヘッド計算と（3）ドメインの忘却が生じます。
これらの課題に対処するために、テスト時間相関アラインメント（TCA）の実現可能性を調査するための理論分析を提供し、高度に確実なインスタンスとテストインスタンスの間の相関アラインメントが理論的保証でテストパフォーマンスを強化できることを実証します。
これに基づいて、2つのシンプルで効果的なアルゴリズムを提案します：LineartcaとLineartca+。
LineArtCAは、単純な線形変換を適用して、追加のモデル更新なしでインスタンスと相関アラインメントの両方を実現しますが、LineArtCA+は既存のTTAメソッドを簡単にブーストできるプラグアンドプレイモジュールとして機能します。
広範な実験では、理論的な洞察を検証し、TCAメソッドがさまざまなタスク、ベンチマーク、バックボーンのベースラインを大幅に上回ることを示しています。
特に、LineArtCAは、OfficeHomeデータセットで適応精度を5.88％向上させ、最大のGPUメモリ使用量4％と0.6％の計算時間のみを使用して、最適なベースラインTTAメソッドです。

要約(オリジナル)

Deep neural networks often experience performance drops due to distribution shifts between training and test data. Although domain adaptation offers a solution, privacy concerns restrict access to training data in many real-world scenarios. This restriction has spurred interest in Test-Time Adaptation (TTA), which adapts models using only unlabeled test data. However, current TTA methods still face practical challenges: (1) a primary focus on instance-wise alignment, overlooking CORrelation ALignment (CORAL) due to missing source correlations; (2) complex backpropagation operations for model updating, resulting in overhead computation and (3) domain forgetting. To address these challenges, we provide a theoretical analysis to investigate the feasibility of Test-time Correlation Alignment (TCA), demonstrating that correlation alignment between high-certainty instances and test instances can enhance test performances with a theoretical guarantee. Based on this, we propose two simple yet effective algorithms: LinearTCA and LinearTCA+. LinearTCA applies a simple linear transformation to achieve both instance and correlation alignment without additional model updates, while LinearTCA+ serves as a plug-and-play module that can easily boost existing TTA methods. Extensive experiments validate our theoretical insights and show that TCA methods significantly outperforms baselines across various tasks, benchmarks and backbones. Notably, LinearTCA improves adaptation accuracy by 5.88% on OfficeHome dataset, while using only 4% maximum GPU memory usage and 0.6% computation time compared to the best baseline TTA method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google