ActMAD: Activation Matching to Align Distributions for Test-Time-Training

要約

Test-Time-Training (TTT) は、トレーニング済みモデルをテスト時に発生する分布シフトに適応させることで、分布外 (OOD) データに対処するアプローチです。
アクティベーション マッチング (ActMAD) を介してこの適応を実行することを提案します。モデルのアクティベーションを分析し、OOD テスト データのアクティベーション統計をトレーニング データのアクティベーション統計に合わせます。
特徴抽出器の最終層でチャネル全体の分布をモデル化する既存の方法とは対照的に、ネットワーク全体の複数の層で各特徴の分布をモデル化します。
これにより、よりきめ細かい監視が可能になり、ActMAD は CIFAR-100C および Imagenet-C で最先端のパフォーマンスを実現します。
また、ActMAD はアーキテクチャやタスクに依存しないため、画像分類を超えて、KITTI-Fog で KITTI でトレーニングされたオブジェクト検出器を評価するときに、以前のアプローチよりも 15.4% 改善されます。
私たちの実験は、ActMAD が現実的なシナリオでのオンライン適応に適用でき、その完全なパフォーマンスを達成するためにほとんどデータを必要としないことを強調しています。

要約(オリジナル)

Test-Time-Training (TTT) is an approach to cope with out-of-distribution (OOD) data by adapting a trained model to distribution shifts occurring at test-time. We propose to perform this adaptation via Activation Matching (ActMAD): We analyze activations of the model and align activation statistics of the OOD test data to those of the training data. In contrast to existing methods, which model the distribution of entire channels in the ultimate layer of the feature extractor, we model the distribution of each feature in multiple layers across the network. This results in a more fine-grained supervision and makes ActMAD attain state of the art performance on CIFAR-100C and Imagenet-C. ActMAD is also architecture- and task-agnostic, which lets us go beyond image classification, and score 15.4% improvement over previous approaches when evaluating a KITTI-trained object detector on KITTI-Fog. Our experiments highlight that ActMAD can be applied to online adaptation in realistic scenarios, requiring little data to attain its full performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google