Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment

要約

テスト時適応 (TTA) は、未知のシフトされたターゲット ドメインでテストされた場合に、ソース ドメインの事前トレーニング済みモデルのパフォーマンスを向上させることを目的としています。
従来の TTA メソッドは主にターゲット データ ストリームに基づいてモデルの重みを適応させるため、モデルのパフォーマンスがターゲット データの量と順序に影響されやすくなります。
最近、拡散駆動型 TTA 手法は、無条件拡散モデルを使用することで強力なパフォーマンスを実証しました。このモデルは、ソース ドメインでもトレーニングされ、ターゲット データをソース ドメイン投影として合成データに変換します。
これにより、ソース モデルは重みを適応させずに予測を行うことができます。
この論文では、拡散駆動型 TTA 法のソース モデルと合成データのドメインが一致していないと主張します。
ソース モデルを無条件拡散モデルの合成ドメインに適合させるために、合成データを使用してソース モデルを微調整する合成ドメイン アライメント (SDA) フレームワークを導入します。
具体的には、まず条件付き拡散モデルを使用してラベル付きサンプルを生成し、合成データセットを作成します。
次に、微調整する前に、前述の無条件拡散モデルを使用して各サンプルにノイズを追加し、ノイズを除去します。
このプロセスにより、条件付きモデルと無条件モデル間の潜在的なドメイン ギャップが軽減されます。
さまざまなモデルやベンチマークにわたる広範な実験により、SDA が優れたドメイン アライメントを達成し、既存の拡散駆動型 TTA 手法を一貫して上回るパフォーマンスを発揮することが実証されました。
私たちのコードは https://github.com/SHI-Labs/Diffusion-Driven-Test-Time-Adaptation-via-Synthetic-Domain-Alignment で入手できます。

要約(オリジナル)

Test-time adaptation (TTA) aims to enhance the performance of source-domain pretrained models when tested on unknown shifted target domains. Traditional TTA methods primarily adapt model weights based on target data streams, making model performance sensitive to the amount and order of target data. Recently, diffusion-driven TTA methods have demonstrated strong performance by using an unconditional diffusion model, which is also trained on the source domain to transform target data into synthetic data as a source domain projection. This allows the source model to make predictions without weight adaptation. In this paper, we argue that the domains of the source model and the synthetic data in diffusion-driven TTA methods are not aligned. To adapt the source model to the synthetic domain of the unconditional diffusion model, we introduce a Synthetic-Domain Alignment (SDA) framework to fine-tune the source model with synthetic data. Specifically, we first employ a conditional diffusion model to generate labeled samples, creating a synthetic dataset. Subsequently, we use the aforementioned unconditional diffusion model to add noise to and denoise each sample before fine-tuning. This process mitigates the potential domain gap between the conditional and unconditional models. Extensive experiments across various models and benchmarks demonstrate that SDA achieves superior domain alignment and consistently outperforms existing diffusion-driven TTA methods. Our code is available at https://github.com/SHI-Labs/Diffusion-Driven-Test-Time-Adaptation-via-Synthetic-Domain-Alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google