On Fairness of Unified Multimodal Large Language Model for Image Generation

要約

Unified Multimodal Large Languals Models（U-MLLMS）は、エンドツーエンドのパイプラインで視覚的理解と生成の印象的なパフォーマンスを実証しています。
Generationのみのモデル（例：安定した拡散）と比較して、U-MLLMSは、統一された機能の影響を受ける可能性のある出力のバイアスに関する新しい質問を提起する可能性があります。
このギャップは、有害なステレオタイプを伝播するという調査が不足しているリスクを考えると、特に懸念されます。
この論文では、最新のU-MLLMSをベンチマークし、ほとんどが性別や人種バイアスなどの重要な人口統計学的バイアスを示していることがわかります。
この問題をよりよく理解し、軽減するために、個々のモデルコンポーネントがバイアスによってどのように影響を受けるかを監査して示すために、ロケートツェンフィックス戦略を提案します。
私たちの分析は、バイアスが主に言語モデルから発生することを示しています。
さらに興味深いことに、U-MLLMSの「部分的なアライメント」現象を観察します。バイアスの理解は最小限に抑えられますが、生成バイアスは依然として大きなものです。
したがって、人口統計の分布と合成データのバランスをとるために、新しいバランスの取れた選好モデルを提案します。
実験は、私たちのアプローチがセマンティックの忠実度を維持しながら人口統計学的バイアスを減らすことを示しています。
私たちの調査結果は、将来のU-MLLMのより多くの全体的な解釈と紛争戦略の必要性を強調していることを願っています。

要約(オリジナル)

Unified multimodal large language models (U-MLLMs) have demonstrated impressive performance in visual understanding and generation in an end-to-end pipeline. Compared with generation-only models (e.g., Stable Diffusion), U-MLLMs may raise new questions about bias in their outputs, which can be affected by their unified capabilities. This gap is particularly concerning given the under-explored risk of propagating harmful stereotypes. In this paper, we benchmark the latest U-MLLMs and find that most exhibit significant demographic biases, such as gender and race bias. To better understand and mitigate this issue, we propose a locate-then-fix strategy, where we audit and show how the individual model component is affected by bias. Our analysis shows that bias originates primarily from the language model. More interestingly, we observe a ‘partial alignment’ phenomenon in U-MLLMs, where understanding bias appears minimal, but generation bias remains substantial. Thus, we propose a novel balanced preference model to balance the demographic distribution with synthetic data. Experiments demonstrate that our approach reduces demographic bias while preserving semantic fidelity. We hope our findings underscore the need for more holistic interpretation and debiasing strategies of U-MLLMs in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google