DiffusionPID: Interpreting Diffusion via Partial Information Decomposition

要約

テキストから画像への拡散モデルは、テキスト入力から自然な画像を生成する上で大きな進歩を遂げており、複雑な視覚的意味関係を学習し表現する能力を示している。これらの拡散モデルは目覚ましい成功を収めたが、その性能を駆動する根本的なメカニズムはまだ十分に説明されておらず、拡散モデルが何を学習するのか、どのように視覚的意味関係を表現するのか、なぜ汎化に失敗することがあるのか、など多くの未解決の疑問がある。本研究では、情報理論的原理を応用して入力テキストプロンプトを基本要素に分解し、個々のトークンとその相互作用が生成された画像をどのように形成するかを詳細に調べることができる新しい手法である拡散部分情報分解（DiffusionPID）を紹介する。PIDを画像とピクセルの両方のレベルでノイズ除去モデルに適用することで、一意性、冗長性、相乗効果の項を分析する形式的アプローチを導入する。このアプローチにより、個々のトークンとその相互作用がモデル出力にどのような影響を与えるかを特徴付けることができる。我々はまず、特定の概念を一意に定位させるためにモデルによって利用される特性のきめ細かな分析を提示し、次に我々のアプローチをバイアス分析に適用し、性別と民族性のバイアスを回復できることを示す。最後に、モデルの観点から単語の曖昧性と類似性を視覚的に特徴付けるために我々の方法を使用し、迅速な介入に対する我々の方法の有効性を示す。我々の結果は、PIDがテキストから画像への拡散モデルの評価と診断のための強力なツールであることを示している。

要約(オリジナル)

Text-to-image diffusion models have made significant progress in generating naturalistic images from textual inputs, and demonstrate the capacity to learn and represent complex visual-semantic relationships. While these diffusion models have achieved remarkable success, the underlying mechanisms driving their performance are not yet fully accounted for, with many unanswered questions surrounding what they learn, how they represent visual-semantic relationships, and why they sometimes fail to generalize. Our work presents Diffusion Partial Information Decomposition (DiffusionPID), a novel technique that applies information-theoretic principles to decompose the input text prompt into its elementary components, enabling a detailed examination of how individual tokens and their interactions shape the generated image. We introduce a formal approach to analyze the uniqueness, redundancy, and synergy terms by applying PID to the denoising model at both the image and pixel level. This approach enables us to characterize how individual tokens and their interactions affect the model output. We first present a fine-grained analysis of characteristics utilized by the model to uniquely localize specific concepts, we then apply our approach in bias analysis and show it can recover gender and ethnicity biases. Finally, we use our method to visually characterize word ambiguity and similarity from the model’s perspective and illustrate the efficacy of our method for prompt intervention. Our results show that PID is a potent tool for evaluating and diagnosing text-to-image diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL