OpenBias: Open-set Bias Detection in Text-to-Image Generative Models

要約

テキストから画像への生成モデルはますます人気が高まっており、一般の人々が利用できるようになってきています。
これらのモデルは大規模な導入が見られるため、いかなる種類の偏見も広めたり永続させたりしないように、その安全性と公平性を深く調査する必要があります。
しかし、既存の研究は、アプリオリに定義されたバイアスの閉じたセットを検出することに焦点を当てており、よく知られた概念に研究を限定しています。
このペーパーでは、プリコンパイルされたセットにアクセスせずに、バイアスの重大度を不可知論的に特定して定量化する新しいパイプラインである OpenBias を提供する、テキストから画像への生成モデルにおけるオープンセットのバイアス検出の課題に取り組みます。
OpenBias には 3 つの段階があります。
最初のフェーズでは、大規模言語モデル (LLM) を活用して、キャプションのセットが与えられた場合のバイアスを提案します。
次に、ターゲット生成モデルは、同じキャプションのセットを使用して画像を生成します。
最後に、Vision Question Answering モデルは、以前に提案されたバイアスの存在と程度を認識します。
私たちは、これまで調査されたことのない新しいバイアスを強調する安定拡散 1.5、2、および XL の動作を調査します。
定量的な実験を通じて、OpenBias が現在の閉集合バイアス検出方法および人間の判断と一致することを実証します。

要約(オリジナル)

Text-to-image generative models are becoming increasingly popular and accessible to the general public. As these models see large-scale deployments, it is necessary to deeply investigate their safety and fairness to not disseminate and perpetuate any kind of biases. However, existing works focus on detecting closed sets of biases defined a priori, limiting the studies to well-known concepts. In this paper, we tackle the challenge of open-set bias detection in text-to-image generative models presenting OpenBias, a new pipeline that identifies and quantifies the severity of biases agnostically, without access to any precompiled set. OpenBias has three stages. In the first phase, we leverage a Large Language Model (LLM) to propose biases given a set of captions. Secondly, the target generative model produces images using the same set of captions. Lastly, a Vision Question Answering model recognizes the presence and extent of the previously proposed biases. We study the behavior of Stable Diffusion 1.5, 2, and XL emphasizing new biases, never investigated before. Via quantitative experiments, we demonstrate that OpenBias agrees with current closed-set bias detection methods and human judgement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google