Cross-Attention Head Position Patterns Can Align with Human Visual Concepts in Text-to-Image Generative Models

要約

最近のテキスト間拡散モデルは、視覚的な生成タスクの範囲を強化するために効果的に利用されてきたクロスアテンション層を活用しています。
ただし、通過層の理解はやや制限されたままです。
この研究では、ヒト指定された視覚概念と整合するヘッド関連ベクター（HRV）を構築することにより、拡散モデルの機械的解釈可能性アプローチを導入します。
特定の視覚概念のHRVは、交差する頭部の総数に等しい長さを持ち、各要素は、指定された視覚概念の対応するヘッドの重要性を表しています。
HRVを解釈可能な機能として検証するために、有効性を実証する順序付けられた弱体化分析を開発します。
さらに、概念の強化と概念の調整方法を提案し、それらを適用して3つの視覚的な生成タスクを強化します。
我々の結果は、HRVが画像生成におけるポリシー語の誤解を減らし、画像編集で5つの挑戦的な属性を正常に変更し、マルチコンセプト生成で壊滅的な無視を緩和できることを示しています。
全体として、私たちの作品は、横断層を理解するための進歩を提供し、これらの層を頭レベルで細かく制御するための新しいアプローチを導入します。

要約(オリジナル)

Recent text-to-image diffusion models leverage cross-attention layers, which have been effectively utilized to enhance a range of visual generative tasks. However, our understanding of cross-attention layers remains somewhat limited. In this study, we introduce a mechanistic interpretability approach for diffusion models by constructing Head Relevance Vectors (HRVs) that align with human-specified visual concepts. An HRV for a given visual concept has a length equal to the total number of cross-attention heads, with each element representing the importance of the corresponding head for the given visual concept. To validate HRVs as interpretable features, we develop an ordered weakening analysis that demonstrates their effectiveness. Furthermore, we propose concept strengthening and concept adjusting methods and apply them to enhance three visual generative tasks. Our results show that HRVs can reduce misinterpretations of polysemous words in image generation, successfully modify five challenging attributes in image editing, and mitigate catastrophic neglect in multi-concept generation. Overall, our work provides an advancement in understanding cross-attention layers and introduces new approaches for fine-controlling these layers at the head level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google