Balancing Act: Distribution-Guided Debiasing in Diffusion Models

要約

拡散モデル（DM）は、前例のない画像生成機能を備えた強力な生成モデルとして浮上しています。
これらのモデルは、データ増強および創造的なアプリケーションに広く使用されています。
ただし、DMはトレーニングデータセットに存在するバイアスを反映しています。
これは、DMが1つの人口統計サブグループと他の人（女性対男性など）を好む顔のコンテキストで特に懸念されます。
この作業では、追加のデータやモデル再トレーニングに依存せずにDMを削除する方法を提示します。
具体的には、生成された画像を実施して規定された属性分布に従うことを実施する配布ガイダンスを提案します。
これを実現するために、UNETを除生する潜在的な特徴が豊かな人口統計セマンティクスを保持しているという重要な洞察に基づいて構築し、委任された世代を導くために同じものを活用できます。
属性分布予測子（ADP） – 潜在的な特徴を属性の分布にマッピングする小さなMLPをトレーニングします。
ADPは、既存の属性分類子から生成された擬似ラベルでトレーニングされています。
ADPを使用した提案された配布ガイダンスにより、公正な世代を行うことができます。
私たちの方法は、単一/複数の属性間のバイアスを減らし、ベースラインを無条件およびテキスト条件の拡散モデルの大幅なマージンで上回ります。
さらに、生成されたデータでトレーニングセットを再調整することにより、公正属性分類器をトレーニングする下流タスクを提示します。

要約(オリジナル)

Diffusion Models (DMs) have emerged as powerful generative models with unprecedented image generation capability. These models are widely used for data augmentation and creative applications. However, DMs reflect the biases present in the training datasets. This is especially concerning in the context of faces, where the DM prefers one demographic subgroup vs others (eg. female vs male). In this work, we present a method for debiasing DMs without relying on additional data or model retraining. Specifically, we propose Distribution Guidance, which enforces the generated images to follow the prescribed attribute distribution. To realize this, we build on the key insight that the latent features of denoising UNet hold rich demographic semantics, and the same can be leveraged to guide debiased generation. We train Attribute Distribution Predictor (ADP) – a small mlp that maps the latent features to the distribution of attributes. ADP is trained with pseudo labels generated from existing attribute classifiers. The proposed Distribution Guidance with ADP enables us to do fair generation. Our method reduces bias across single/multiple attributes and outperforms the baseline by a significant margin for unconditional and text-conditional diffusion models. Further, we present a downstream task of training a fair attribute classifier by rebalancing the training set with our generated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google