Don’t drop your samples! Coherence-aware training benefits Conditional diffusion

要約

条件付き拡散モデルは、クラスラベル、セグメンテーションマスク、テキストキャプションなど、さまざまな種類の条件情報を活用できる強力な生成モデルです。
ただし、多くの現実世界のシナリオでは、条件付き情報は、人間の注釈エラーまたは弱いアライメントのために騒がしい、または信頼できない場合があります。
この論文では、条件付き情報のコヒーレンスを拡散モデルに統合する新しい方法であるコヒーレンスアウェア拡散（CAD）を提案し、データを破棄することなくノイズの多い注釈から学習できるようにします。
各データポイントには、条件付き情報の品質を反映する関連するコヒーレンススコアがあると仮定します。
次に、条件付き情報とコヒーレンススコアの両方で拡散モデルを条件付けます。
このようにして、モデルは、コヒーレンスが低いときにコンディショニングを無視または割引することを学びます。
CADは理論的に健全であり、さまざまな条件付き生成タスクで経験的に効果的であることを示します。
さらに、コヒーレンスを活用すると、コヒーレンスが低いサンプルが破棄されているクリーニングされたデータセットでトレーニングされたモデルよりも条件付き情報をよりよく尊重する現実的で多様なサンプルが生成されることを示します。

要約(オリジナル)

Conditional diffusion models are powerful generative models that can leverage various types of conditional information, such as class labels, segmentation masks, or text captions. However, in many real-world scenarios, conditional information may be noisy or unreliable due to human annotation errors or weak alignment. In this paper, we propose the Coherence-Aware Diffusion (CAD), a novel method that integrates coherence in conditional information into diffusion models, allowing them to learn from noisy annotations without discarding data. We assume that each data point has an associated coherence score that reflects the quality of the conditional information. We then condition the diffusion model on both the conditional information and the coherence score. In this way, the model learns to ignore or discount the conditioning when the coherence is low. We show that CAD is theoretically sound and empirically effective on various conditional generation tasks. Moreover, we show that leveraging coherence generates realistic and diverse samples that respect conditional information better than models trained on cleaned datasets where samples with low coherence have been discarded.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google