Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness

要約

生成 AI モデルは最近、品質において驚くべき結果を達成しており、その結果、急速に増加しているアプリケーションで採用されています。
しかし、彼らは高度にデータ駆動型であり、インターネットからランダムに収集した数十億規模のデータセットに依存しているため、私たちが実証しているように、人間の退廃的で偏った行動にも悩まされています。
実際、それらはそのような偏見を強化する可能性さえあります。
これらの望ましくない影響を明らかにするだけでなく、それに対処するために、テキストから画像への生成モデルの展開後のバイアスを軽減する、公正拡散と呼ばれる新しい戦略を提案します。
具体的には、人間の指示に基づいてバイアスを任意の方向にシフトし、アイデンティティ グループなどに任意の新しい比率をもたらすことを実証します。
私たちの経験的評価が示すように、この導入された制御により、データのフィルタリングや追加のトレーニングを必要とせずに、生成画像モデルに公平性を指示することができます。

要約(オリジナル)

Generative AI models have recently achieved astonishing results in quality and are consequently employed in a fast-growing number of applications. However, since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer from degenerated and biased human behavior, as we demonstrate. In fact, they may even reinforce such biases. To not only uncover but also combat these undesired effects, we present a novel strategy, called Fair Diffusion, to attenuate biases after the deployment of generative text-to-image models. Specifically, we demonstrate shifting a bias, based on human instructions, in any direction yielding arbitrarily new proportions for, e.g., identity groups. As our empirical evaluation demonstrates, this introduced control enables instructing generative image models on fairness, with no data filtering and additional training required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google