Back to the Source: Diffusion-Driven Test-Time Adaptation

要約

テスト時適応は、シフトされたターゲット データでテストされるときに、ソース データでトレーニングされたモデルの精度を向上させるためにテスト入力を利用します。
既存のメソッドは、各ターゲット ドメインで (再) トレーニングすることによってソース モデルを更新します。
再トレーニングは効果的ではありますが、データの量と順序、および最適化のためのハイパーパラメーターに影響されます。
代わりに、生成拡散モデルを使用してすべてのテスト入力をソース ドメインに投影することで、ターゲット データを更新します。
当社の拡散駆動型適応手法である DDA は、すべてのドメインにわたって分類と生成のためのモデルを共有します。
どちらのモデルもソース ドメインでトレーニングされ、テスト中に修正されます。
画像誘導と自己アンサンブルによって拡散を強化し、どの程度適応させるかを自動的に決定します。
DDA による入力適応は、ImageNet-C ベンチマークのさまざまな破損、アーキテクチャ、データ領域にわたって、以前のモデル適応アプローチよりも堅牢です。
DDA は、入力ごとの更新により、小さなバッチ内のデータが少なすぎる場合、順序が不均一な依存データ、または複数の破損が含まれる混合データでモデル適応が低下する場合に成功します。

要約(オリジナル)

Test-time adaptation harnesses test inputs to improve the accuracy of a model trained on source data when tested on shifted target data. Existing methods update the source model by (re-)training on each target domain. While effective, re-training is sensitive to the amount and order of the data and the hyperparameters for optimization. We instead update the target data, by projecting all test inputs toward the source domain with a generative diffusion model. Our diffusion-driven adaptation method, DDA, shares its models for classification and generation across all domains. Both models are trained on the source domain, then fixed during testing. We augment diffusion with image guidance and self-ensembling to automatically decide how much to adapt. Input adaptation by DDA is more robust than prior model adaptation approaches across a variety of corruptions, architectures, and data regimes on the ImageNet-C benchmark. With its input-wise updates, DDA succeeds where model adaptation degrades on too little data in small batches, dependent data in non-uniform order, or mixed data with multiple corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google