Don’t drop your samples! Coherence-aware training benefits Conditional diffusion

要約

条件付き拡散モデルは、クラス ラベル、セグメンテーション マスク、テキスト キャプションなどのさまざまな種類の条件付き情報を活用できる強力な生成モデルです。
ただし、現実世界の多くのシナリオでは、人間による注釈エラーや弱い調整により、条件付き情報にノイズが多かったり、信頼性が低くなったりすることがあります。
この論文では、条件付き情報のコヒーレンスを拡散モデルに統合し、データを破棄することなくノイズの多いアノテーションから学習できる新しい方法であるコヒーレンス認識拡散 (CAD) を提案します。
各データ ポイントには、条件付き情報の品質を反映する関連する一貫性スコアがあると想定します。
次に、条件付き情報と一貫性スコアの両方に基づいて拡散モデルを条件付けします。
このようにして、モデルは、一貫性が低い場合には、条件付けを無視または無視することを学習します。
CAD が理論的には適切であり、さまざまな条件付き生成タスクに対して経験的に効果的であることを示します。
さらに、コヒーレンスを活用すると、コヒーレンスの低いサンプルが破棄されたクリーンなデータセットでトレーニングされたモデルよりも、条件付き情報をより適切に尊重する現実的で多様なサンプルが生成されることを示します。

要約(オリジナル)

Conditional diffusion models are powerful generative models that can leverage various types of conditional information, such as class labels, segmentation masks, or text captions. However, in many real-world scenarios, conditional information may be noisy or unreliable due to human annotation errors or weak alignment. In this paper, we propose the Coherence-Aware Diffusion (CAD), a novel method that integrates coherence in conditional information into diffusion models, allowing them to learn from noisy annotations without discarding data. We assume that each data point has an associated coherence score that reflects the quality of the conditional information. We then condition the diffusion model on both the conditional information and the coherence score. In this way, the model learns to ignore or discount the conditioning when the coherence is low. We show that CAD is theoretically sound and empirically effective on various conditional generation tasks. Moreover, we show that leveraging coherence generates realistic and diverse samples that respect conditional information better than models trained on cleaned datasets where samples with low coherence have been discarded.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google