Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness

要約

生成AIモデルは、近年、その品質において驚異的な成果を上げ、その結果、急速に多くのアプリケーションに採用されている。しかし、インターネットから無作為に収集された10億個ものデータセットに依存するため、データ駆動型でありながら、退化し、偏った人間の行動を引き起こす可能性があることが分かっています。実際、そのようなバイアスを強化する可能性さえある。このような望ましくない効果を発見するだけでなく、それに対抗するために、我々は、生成的なテキストから画像へのモデルの展開後にバイアスを減衰させる、公正拡散と呼ばれる新しい戦略を提示する。具体的には、人間の指示に基づいてバイアスを任意の方向にシフトさせ、例えばアイデンティティグループの比率を任意に変化させることを実証する。この制御を導入することで、データのフィルタリングや追加学習が不要で、生成画像モデルに公平性を指示できることが実証されました。

要約(オリジナル)

Generative AI models have recently achieved astonishing results in quality and are consequently employed in a fast-growing number of applications. However, since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer from degenerated and biased human behavior, as we demonstrate. In fact, they may even reinforce such biases. To not only uncover but also combat these undesired effects, we present a novel strategy, called Fair Diffusion, to attenuate biases after the deployment of generative text-to-image models. Specifically, we demonstrate shifting a bias, based on human instructions, in any direction yielding arbitrarily new proportions for, e.g., identity groups. As our empirical evaluation demonstrates, this introduced control enables instructing generative image models on fairness, with no data filtering and additional training required.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL