Debiasing Text-to-Image Diffusion Models

要約

Stable Diffusion のような学習ベースの Text-to-Image (TTI) モデルは、さまざまなドメインでビジュアル コンテンツを生成する方法に革命をもたらしました。
しかし、最近の研究では、現在の最先端の TTI システムには無視できない社会的偏見が存在することが示されており、重要な懸念が生じています。
この研究では、TTI 普及モデルにおける社会的バイアスを解決することを目標としています。
私たちは問題設定を形式化することから始め、偏見グループのテキスト説明を使用して、拡散プロセスを導くための危険な方向を確立します。
次に、問題を重み最適化問題に単純化し、強化ソルバーである Policy Gradient を試みます。これは、収束が遅く、次善のパフォーマンスを示します。
さらに、制限を克服するために、反復分布アラインメント (IDA) 方法を提案します。
その単純さにもかかわらず、IDA が TTI 普及モデルにおける社会的偏見の解決において効率性と高速な収束を示すことを示します。
私たちのコードが公開されます。

要約(オリジナル)

Learning-based Text-to-Image (TTI) models like Stable Diffusion have revolutionized the way visual content is generated in various domains. However, recent research has shown that nonnegligible social bias exists in current state-of-the-art TTI systems, which raises important concerns. In this work, we target resolving the social bias in TTI diffusion models. We begin by formalizing the problem setting and use the text descriptions of bias groups to establish an unsafe direction for guiding the diffusion process. Next, we simplify the problem into a weight optimization problem and attempt a Reinforcement solver, Policy Gradient, which shows sub-optimal performance with slow convergence. Further, to overcome limitations, we propose an iterative distribution alignment (IDA) method. Despite its simplicity, we show that IDA shows efficiency and fast convergence in resolving the social bias in TTI diffusion models. Our code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google