Unleashing the Potential of Pre-Trained Diffusion Models for Generalizable Person Re-Identification

要約

Domain-Generalizable Redification（DG Reid）は、1つ以上のソースドメインでモデルをトレーニングし、目に見えないターゲットドメインでのパフォーマンスを評価することを目指しています。
多数の方法が提案されていますが、ほとんどが差別的または対照的な学習フレームワークに依存して、一般化可能な機能表現を学習しています。
ただし、これらのアプローチは、ショートカット学習を軽減できず、最適ではないパフォーマンスにつながることがよくあります。
この作業では、DG Reidを強化するために、相関認識条件付けスキーム（DCAC）を使用した拡散モデル支援表現学習と呼ばれる新しい方法を提案します。
私たちの方法は、相関認識条件付けスキームを通じて、識別と対照的なReidモデルと事前に訓練された拡散モデルを統合します。
REIDモデルから生成されたID分類確率を、学習可能なIDワイズプロンプトのセットで組み込むことにより、コンディショニングスキームは、拡散プロセスをガイドするためにID相関をキャプチャする暗い知識を注入します。
同時に、拡散モデルからのフィードバックは、コンディショニングスキームを通じてREIDモデルに戻り、REID機能の一般化能力を効果的に改善します。
シングルソースとマルチソースの両方のDG Reidタスクの両方の広範な実験は、この方法が最先端のパフォーマンスを達成することを示しています。
包括的なアブレーション研究は、提案されたアプローチの有効性をさらに検証し、その堅牢性に関する洞察を提供します。
コードはhttps://github.com/rikoli/dcacで入手できます。

要約(オリジナル)

Domain-generalizable re-identification (DG Re-ID) aims to train a model on one or more source domains and evaluate its performance on unseen target domains, a task that has attracted growing attention due to its practical relevance. While numerous methods have been proposed, most rely on discriminative or contrastive learning frameworks to learn generalizable feature representations. However, these approaches often fail to mitigate shortcut learning, leading to suboptimal performance. In this work, we propose a novel method called diffusion model-assisted representation learning with a correlation-aware conditioning scheme (DCAC) to enhance DG Re-ID. Our method integrates a discriminative and contrastive Re-ID model with a pre-trained diffusion model through a correlation-aware conditioning scheme. By incorporating ID classification probabilities generated from the Re-ID model with a set of learnable ID-wise prompts, the conditioning scheme injects dark knowledge that captures ID correlations to guide the diffusion process. Simultaneously, feedback from the diffusion model is back-propagated through the conditioning scheme to the Re-ID model, effectively improving the generalization capability of Re-ID features. Extensive experiments on both single-source and multi-source DG Re-ID tasks demonstrate that our method achieves state-of-the-art performance. Comprehensive ablation studies further validate the effectiveness of the proposed approach, providing insights into its robustness. Codes will be available at https://github.com/RikoLi/DCAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google