GDA: Generalized Diffusion for Robust Test-time Adaptation

要約

機械学習モデルは、予期せぬ分布の変化を伴う分布外 (OOD) サンプルに遭遇した場合、一般化に苦労します。
視覚タスクの場合、最近の研究では、拡散モデルを使用したテスト時適応により、モデルの重みを変更することなく、モデルのドメインに一致する新しいサンプルを生成することで、OOD サンプルの最先端の精度向上を達成できることが示されています。
残念ながら、これらの研究は主にピクセルレベルの破損に焦点を当てているため、より広範囲の OOD タイプに適応するための一般化が欠けています。
さまざまな OOD タイプに対して堅牢な、新しい拡散ベースのテスト時間適応方法である一般化拡散適応 (GDA) を紹介します。
具体的には、GDA は、逆サンプリング プロセス中のスタイルとコンテンツの保存損失と併せて、モデルから導出された限界エントロピー損失を適用することにより、拡散を反復的にガイドします。
言い換えれば、GDA はサンプル全体のセマンティック情報を使用してモデルの出力動作を考慮するため、生成プロセス中の下流タスクのあいまいさを軽減できます。
さまざまな一般的なモデル アーキテクチャと OOD ベンチマークにわたる評価では、GDA が拡散駆動型適応に関する以前の研究よりも一貫して優れていることが示されています。
特に、ImageNet-C では 4.4\% から 5.02\%、Rendition、Sketch、および Stylized ベンチマークでは 2.5\% から 7.4\% の範囲で、最も高い分類精度の向上が達成されています。
このパフォーマンスは、GDA がより広範囲の OOD ベンチマークに一般化されていることを強調しています。

要約(オリジナル)

Machine learning models struggle with generalization when encountering out-of-distribution (OOD) samples with unexpected distribution shifts. For vision tasks, recent studies have shown that test-time adaptation employing diffusion models can achieve state-of-the-art accuracy improvements on OOD samples by generating new samples that align with the model’s domain without the need to modify the model’s weights. Unfortunately, those studies have primarily focused on pixel-level corruptions, thereby lacking the generalization to adapt to a broader range of OOD types. We introduce Generalized Diffusion Adaptation (GDA), a novel diffusion-based test-time adaptation method robust against diverse OOD types. Specifically, GDA iteratively guides the diffusion by applying a marginal entropy loss derived from the model, in conjunction with style and content preservation losses during the reverse sampling process. In other words, GDA considers the model’s output behavior with the semantic information of the samples as a whole, which can reduce ambiguity in downstream tasks during the generation process. Evaluation across various popular model architectures and OOD benchmarks shows that GDA consistently outperforms prior work on diffusion-driven adaptation. Notably, it achieves the highest classification accuracy improvements, ranging from 4.4\% to 5.02\% on ImageNet-C and 2.5\% to 7.4\% on Rendition, Sketch, and Stylized benchmarks. This performance highlights GDA’s generalization to a broader range of OOD benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google