Test-Time Adaptation with Principal Component Analysis

要約

機械学習モデルは、テスト データがトレーニング データと異なる場合に失敗する傾向があります。これは、分布シフトとして知られる実際のアプリケーションでよく発生する状況です。
トレーニング時の知識は有効ではありますが、効果が低くなり、高いパフォーマンスを維持するためにテスト時の適応が必要になります。
バッチ ノルム層を想定し、その統計を適応に使用するアプローチに従って、主成分分析によるテスト時間適応 (TTAwPCA) を提案します。これは、適合した PCA を推定し、テスト時に、
破損に対する堅牢性のための PCA。
TTAwPCA は 3 つのコンポーネントを組み合わせます。特定のレイヤーの出力は、主成分分析 (PCA) を使用して分解され、特異値のペナルティによってフィルター処理され、PCA 逆変換で再構築されます。
この一般的な機能強化により、現在のメソッドよりも少ないパラメーターが追加されます。
CIFAR-10-C と CIFAR-100-C での実験は、2000 個のパラメーターの独自のフィルターを使用した方法の有効性と限界を示しています。

要約(オリジナル)

Machine Learning models are prone to fail when test data are different from training data, a situation often encountered in real applications known as distribution shift. While still valid, the training-time knowledge becomes less effective, requiring a test-time adaptation to maintain high performance. Following approaches that assume batch-norm layer and use their statistics for adaptation, we propose a Test-Time Adaptation with Principal Component Analysis (TTAwPCA), which presumes a fitted PCA and adapts at test time a spectral filter based on the singular values of the PCA for robustness to corruptions. TTAwPCA combines three components: the output of a given layer is decomposed using a Principal Component Analysis (PCA), filtered by a penalization of its singular values, and reconstructed with the PCA inverse transform. This generic enhancement adds fewer parameters than current methods. Experiments on CIFAR-10-C and CIFAR- 100-C demonstrate the effectiveness and limits of our method using a unique filter of 2000 parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google