AITTI: Learning Adaptive Inclusive Token for Text-to-Image Generation

要約

テキストから画像への生成では高品質の結果が得られますが、生成されたコンテンツには固定観念的なバイアスが見つかり、生成モデルの公平性が損なわれています。
この研究では、最終的な生成出力の属性分布をシフトするために適応的包括的トークンを学習することを提案します。
既存のバイアス除去アプローチとは異なり、私たちの方法では明示的な属性指定もバイアス分布の事前知識も必要ありません。
具体的には、私たちの手法の中核は、軽量の適応マッピング ネットワークです。これは、バイアスを除去する概念の包括的なトークンをカスタマイズでき、元のバイアス分布に関係なく、トークンを目に見えない概念に一般化できるようにします。
これは、アンカー損失を使用して、少数のバランスのとれた包括的なサンプルで適応マッピング ネットワークを調整することによって実現されます。
実験結果は、私たちの方法が、生成結果とテキスト記述の間の整合性を維持しながら、属性を指定しない以前のバイアス軽減方法よりも優れていることを示しています。
さらに、私たちの方法は、生成のために特定の属性や編集指示を必要とするモデルと同等のパフォーマンスを実現します。
広範な実験により、テキストから画像への生成における固定観念の軽減における適応型包括的トークンの有効性が実証されました。
コードは https://github.com/itsmag11/AITTI で入手できます。

要約(オリジナル)

Despite the high-quality results of text-to-image generation, stereotypical biases have been spotted in their generated contents, compromising the fairness of generative models. In this work, we propose to learn adaptive inclusive tokens to shift the attribute distribution of the final generative outputs. Unlike existing de-biasing approaches, our method requires neither explicit attribute specification nor prior knowledge of the bias distribution. Specifically, the core of our method is a lightweight adaptive mapping network, which can customize the inclusive tokens for the concepts to be de-biased, making the tokens generalizable to unseen concepts regardless of their original bias distributions. This is achieved by tuning the adaptive mapping network with a handful of balanced and inclusive samples using an anchor loss. Experimental results demonstrate that our method outperforms previous bias mitigation methods without attribute specification while preserving the alignment between generative results and text descriptions. Moreover, our method achieves comparable performance to models that require specific attributes or editing directions for generation. Extensive experiments showcase the effectiveness of our adaptive inclusive tokens in mitigating stereotypical bias in text-to-image generation. The code will be available at https://github.com/itsmag11/AITTI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google