Contrastive Flow Matching

要約

無条件のフローマッチング列車拡散モデルは、サンプルペア間のフローが一意であることを強制することにより、ソース分布からターゲット分布にサンプルを輸送するための拡散モデルを拡散モデルにします。
ただし、条件付き設定（クラス条件付きモデルなど）では、この一意性はもはや保証されていません。さまざまな条件からのフローが重複し、より曖昧な世代につながる可能性があります。
コントラストフローマッチングを導入します。これは、すべての条件付きフローにわたって一意性を明示的に強制し、条件分離を強化するフローマッチング目標への拡張です。
私たちのアプローチは、任意のサンプルペアからの予測されるフロー間の非類似性を最大化する対照的な目的を追加します。
クラスコンディショニング（Imagenet-1K）とテキストからイメージ（CC3M）の両方のベンチマークの両方で、さまざまなモデルアーキテクチャ間で広範な実験を実施することにより、コントラストフローマッチングを検証します。
特に、対照的なフローマッチングを備えたトレーニングモデルは、（1）トレーニング速度を最大9倍に改善することがわかります。
https://github.com/gstoica27/deltafm.gitでコードをリリースします。

要約(オリジナル)

Unconditional flow-matching trains diffusion models to transport samples from a source distribution to a target distribution by enforcing that the flows between sample pairs are unique. However, in conditional settings (e.g., class-conditioned models), this uniqueness is no longer guaranteed–flows from different conditions may overlap, leading to more ambiguous generations. We introduce Contrastive Flow Matching, an extension to the flow matching objective that explicitly enforces uniqueness across all conditional flows, enhancing condition separation. Our approach adds a contrastive objective that maximizes dissimilarities between predicted flows from arbitrary sample pairs. We validate Contrastive Flow Matching by conducting extensive experiments across varying model architectures on both class-conditioned (ImageNet-1k) and text-to-image (CC3M) benchmarks. Notably, we find that training models with Contrastive Flow Matching (1) improves training speed by a factor of up to 9x, (2) requires up to 5x fewer de-noising steps and (3) lowers FID by up to 8.9 compared to training the same models with flow matching. We release our code at: https://github.com/gstoica27/DeltaFM.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google