Back to the Source: Diffusion-Driven Test-Time Adaptation

要約

テスト時間適応は、テスト入力を利用して、シフトされたターゲットデータでテストされたときにソースデータでトレーニングされたモデルの精度を向上させます。
既存のメソッドは、各ターゲットドメインで（再）トレーニングすることによってソースモデルを更新します。
再トレーニングは効果的ですが、データの量と順序、および最適化のためのハイパーパラメータに敏感です。
代わりに、生成拡散モデルを使用してすべてのテスト入力をソースドメインに投影することにより、ターゲットデータを更新します。
私たちの拡散主導の適応方法であるDDAは、すべてのドメインにわたって分類と生成のモデルを共有しています。
どちらのモデルもソースドメインでトレーニングされ、テスト中に修正されます。
画像ガイダンスと自己アンサンブルで拡散を強化し、適応する量を自動的に決定します。
DDAによる入力適応は、ImageNet-Cベンチマークのさまざまな破損、アーキテクチャ、およびデータレジームにわたって、以前のモデル適応アプローチよりも堅牢です。
入力ごとの更新により、DDAは、小さなバッチのデータが少なすぎる場合、順序が不均一な従属データ、または複数の破損がある混合データでモデルの適応が低下する場合に成功します。

要約(オリジナル)

Test-time adaptation harnesses test inputs to improve the accuracy of a model trained on source data when tested on shifted target data. Existing methods update the source model by (re-)training on each target domain. While effective, re-training is sensitive to the amount and order of the data and the hyperparameters for optimization. We instead update the target data, by projecting all test inputs toward the source domain with a generative diffusion model. Our diffusion-driven adaptation method, DDA, shares its models for classification and generation across all domains. Both models are trained on the source domain, then fixed during testing. We augment diffusion with image guidance and self-ensembling to automatically decide how much to adapt. Input adaptation by DDA is more robust than prior model adaptation approaches across a variety of corruptions, architectures, and data regimes on the ImageNet-C benchmark. With its input-wise updates, DDA succeeds where model adaptation degrades on too little data in small batches, dependent data in non-uniform order, or mixed data with multiple corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google