Training Class-Imbalanced Diffusion Model Via Overlap Optimization

要約

拡散モデルは、最近、高品質の画像合成および関連タスクにおいて大幅な進歩を遂げています。
ただし、現実世界のデータセットでトレーニングされた拡散モデルは、尾部の分布に従うことが多く、尾部クラスの忠実度が劣ります。
拡散モデルを含む深い生成モデルは、豊富なトレーニング画像を持つクラスに偏っています。
レアクラスとテールクラスの合成画像間で観察される外観の重複に対処するために、異なるクラスの合成画像の分布間の重複を最小限に抑えるための対照学習に基づく方法を提案します。
確率的対比学習法の変形があらゆるクラス条件付き拡散モデルに適用できることを示します。
ロングテール分布を持つ複数のデータセットの損失を使用して、画像合成が大幅に改善されたことを示します。
広範な実験結果は、提案された方法が拡散ベースの生成および分類モデルの不均衡なデータを効果的に処理できることを示しています。
私たちのコードとデータセットは https://github.com/yanliang3612/DiffROP で公開されます。

要約(オリジナル)

Diffusion models have made significant advances recently in high-quality image synthesis and related tasks. However, diffusion models trained on real-world datasets, which often follow long-tailed distributions, yield inferior fidelity for tail classes. Deep generative models, including diffusion models, are biased towards classes with abundant training images. To address the observed appearance overlap between synthesized images of rare classes and tail classes, we propose a method based on contrastive learning to minimize the overlap between distributions of synthetic images for different classes. We show variants of our probabilistic contrastive learning method can be applied to any class conditional diffusion model. We show significant improvement in image synthesis using our loss for multiple datasets with long-tailed distribution. Extensive experimental results demonstrate that the proposed method can effectively handle imbalanced data for diffusion-based generation and classification models. Our code and datasets will be publicly available at https://github.com/yanliang3612/DiffROP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google