Fair Text-to-Image Diffusion via Fair Mapping

要約

この論文では、人間関連の説明が与えられた場合に人口統計的に公平な結果を生成する際の既存のテキストから画像への拡散モデルの限界について取り上げます。
これらのモデルは、多くの場合、ターゲット言語のコンテキストを社会文化的バイアスから解きほぐすのに苦労し、その結果、偏った画像が生成されます。
この課題を克服するために、私たちは、公平な画像生成を達成するためにプロンプ​​トを制御することによって、事前にトレーニングされたテキストから画像への拡散モデルを変更する、柔軟でモデルに依存しない軽量のアプローチであるフェア マッピングを提案します。
私たちのアプローチの重要な利点の 1 つは、その効率の高さです。
必要なのは、少ない計算コストで、少数のパラメータを使用して追加の線形ネットワークを更新することだけです。
条件付け埋め込みを偏りのない空間にマッピングする線形ネットワークを開発することで、指定されたテキスト条件に基づいて比較的バランスの取れた人口統計結果を生成できるようになります。
顔画像生成に関する包括的な実験により、人間に関連する説明が求められた場合、私たちの方法は従来の拡散モデルと比較してほぼ同じ画質で画像生成の公平性が大幅に向上することを示します。
暗黙の言語バイアスの問題に効果的に対処することにより、私たちの方法はより公平で多様な画像出力を生成します。

要約(オリジナル)

In this paper, we address the limitations of existing text-to-image diffusion models in generating demographically fair results when given human-related descriptions. These models often struggle to disentangle the target language context from sociocultural biases, resulting in biased image generation. To overcome this challenge, we propose Fair Mapping, a flexible, model-agnostic, and lightweight approach that modifies a pre-trained text-to-image diffusion model by controlling the prompt to achieve fair image generation. One key advantage of our approach is its high efficiency. It only requires updating an additional linear network with few parameters at a low computational cost. By developing a linear network that maps conditioning embeddings into a debiased space, we enable the generation of relatively balanced demographic results based on the specified text condition. With comprehensive experiments on face image generation, we show that our method significantly improves image generation fairness with almost the same image quality compared to conventional diffusion models when prompted with descriptions related to humans. By effectively addressing the issue of implicit language bias, our method produces more fair and diverse image outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google