The Bias Amplification Paradox in Text-to-Image Generation

要約

バイアス増幅は、モデルがトレーニング データに存在する不均衡を増大させる現象です。
この論文では、トレーニング画像と生成画像の男女比を比較することにより、安定拡散を使用したテキストから画像への領域におけるバイアス増幅を研究します。
このモデルは、トレーニング データ (LAION) で見つかった性別と職業のバイアスを増幅しているように見えることがわかりました。
ただし、増幅の主な原因はトレーニング キャプションとモデル プロンプトの間の不一致にある可能性があることがわかりました。
たとえば、本質的な違いとして、トレーニング データのキャプションには明示的な性別情報が含まれることが多いのに対し、使用するプロンプトには含まれていないことがあり、これが分布の変化につながり、結果としてバイアス測定に影響を与えます。
トレーニングと生成に使用されるテキスト間のさまざまな分布の違いを考慮すると、増幅が大幅に減少することがわかります。
私たちの調査結果は、モデルとモデルがトレーニングされたデータのバイアスを比較する際の課題を示し、バイアスの増幅に寄与する交絡因子を浮き彫りにしています。

要約(オリジナル)

Bias amplification is a phenomenon in which models increase imbalances present in the training data. In this paper, we study bias amplification in the text-to-image domain using Stable Diffusion by comparing gender ratios in training vs. generated images. We find that the model appears to amplify gender-occupation biases found in the training data (LAION). However, we discover that amplification can largely be attributed to discrepancies between training captions and model prompts. For example, an inherent difference is that captions from the training data often contain explicit gender information while the prompts we use do not, which leads to a distribution shift and consequently impacts bias measures. Once we account for various distributional differences between texts used for training and generation, we observe that amplification decreases considerably. Our findings illustrate the challenges of comparing biases in models and the data they are trained on, and highlight confounding factors that contribute to bias amplification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google