SITA: Single Image Test-time Adaptation

要約

テスト時適応（TTA）では、ソースモデルが与えられたとき、ソースとは異なる分布からのテストインスタンスに対してより良い予測を行うために、そのモデルを適応させることを目標とする。TTAは、原データへのアクセスや、原モデルを微調整するためのターゲット分布からのラベル付き／ラベルなしサンプルの追加を想定していないことが重要である。この研究では、SITA（Single Image Test-time Adaptation）と呼ばれる、より実用的な設定でのTTAを検討する。ここで、予測を行う際、モデルは、一般的に文献で検討されているようなインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができます。これは、バッチを受信するために遅延するのではなく、オンデマンドで推論が必要な場合や、バッチ処理の余地がないエッジデバイス（携帯電話など）で推論が行われる場合など、現実的なシナリオが動機となっています。SITAにおける適応処理は、推論時に行われるため、非常に高速であることが望ましい。この問題に対処するために、我々は、1回のフォワードパスしか必要としない新しいアプローチAugBNを提案する。これは、分類とセグメンテーションの両方のタスクのための単一インスタンスをテストするために、任意の既製の学習済みモデル上で使用することができる。AugBNは、与えられたテスト画像から、ラベル保存変換を用いたたった1回のフォワードパスで、未知のテスト分布の正規化統計量を推定する。AugBNはバックプロパゲーションを行わないため、最近のテスト時間適応手法と比較して、大幅に高速である。我々はさらにAugBNを拡張し、ハイパーパラメータフリーアルゴリズムを実現する。厳密な実験により、我々のシンプルなアルゴリズムが、様々なデータセット、タスク、ネットワークアーキテクチャに対して、大幅な性能向上を達成できることが示された。

要約(オリジナル)

In Test-time Adaptation (TTA), given a source model, the goal is to adapt it to make better predictions for test instances from a different distribution than the source. Crucially, TTA assumes no access to the source data or even any additional labeled/unlabeled samples from the target distribution to finetune the source model. In this work, we consider TTA in a more pragmatic setting which we refer to as SITA (Single Image Test-time Adaptation). Here, when making a prediction, the model has access only to the given single test instance, rather than a batch of instances, as typically been considered in the literature. This is motivated by the realistic scenarios where inference is needed on-demand instead of delaying for an incoming batch or the inference is happening on an edge device (like mobile phone) where there is no scope for batching. The entire adaptation process in SITA should be extremely fast as it happens at inference time. To address this, we propose a novel approach AugBN that requires only a single forward pass. It can be used on any off-the-shelf trained model to test single instances for both classification and segmentation tasks. AugBN estimates normalization statistics of the unseen test distribution from the given test image using only one forward pass with label-preserving transformations. Since AugBN does not involve any back-propagation, it is significantly faster compared to recent test time adaptation methods. We further extend AugBN to make the algorithm hyperparameter-free. Rigorous experimentation show that our simple algorithm is able to achieve significant performance gains for a variety of datasets, tasks, and network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL