Test-time Adaptation of Discriminative Models via Diffusion Generative Feedback

要約

生成モデリングの進歩、特に拡散モデルの出現は、これらのモデルを識別タスクにどのように効果的に使用できるかという根本的な疑問を引き起こしました。
この研究では、生成モデルが識別モデルの優れたテスト時アダプターとなり得ることがわかりました。
私たちの手法である Diffusion-TTA は、拡散モデルからの生成フィードバックを使用して、画像分類器、セグメンター、深度予測器などの事前トレーニング済みの識別モデルを、テスト セット内のラベルのないサンプルごとに適応させます。
これは、識別モデルの出力を使用して拡散モデルの条件付けを調整することによって実現されます。
次に、勾配を識別モデルのパラメーターに逆伝播することにより、画像尤度目標を最大化します。
私たちは、Diffusion-TTA が、ImageNet 分類子、CLIP モデル、画像ピクセル ラベラー、画像深度予測子など、さまざまな大規模な事前トレーニング済み識別モデルの精度を大幅に向上させることを示します。
Diffusion-TTA は、TTT-MAE や TENT などの既存のテスト時適応方法よりも優れており、特に、識別モデルがテスト セット内の各例に継続的に適応されるオンライン適応セットアップで威力を発揮します。
コード、結果、および視覚化へのアクセスは、Web サイト (https://diffusion-tta.github.io/) で提供されます。

要約(オリジナル)

The advancements in generative modeling, particularly the advent of diffusion models, have sparked a fundamental question: how can these models be effectively used for discriminative tasks? In this work, we find that generative models can be great test-time adapters for discriminative models. Our method, Diffusion-TTA, adapts pre-trained discriminative models such as image classifiers, segmenters and depth predictors, to each unlabelled example in the test set using generative feedback from a diffusion model. We achieve this by modulating the conditioning of the diffusion model using the output of the discriminative model. We then maximize the image likelihood objective by backpropagating the gradients to discriminative model’s parameters. We show Diffusion-TTA significantly enhances the accuracy of various large-scale pre-trained discriminative models, such as, ImageNet classifiers, CLIP models, image pixel labellers and image depth predictors. Diffusion-TTA outperforms existing test-time adaptation methods, including TTT-MAE and TENT, and particularly shines in online adaptation setups, where the discriminative model is continually adapted to each example in the test set. We provide access to code, results, and visualizations on our website: https://diffusion-tta.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google