Analysis of Attention in Video Diffusion Transformers

要約

ビデオ拡散トランス（VDIT）で注意の詳細な分析を実施し、多くの新しい発見を報告します。
VDITで注意の3つの重要な特性を特定します：構造、スパース、シンク。
構造：さまざまなVDITにまたがる注意パターンは、異なるプロンプトで同様の構造を示し、注意パターンの類似性を利用して、自己攻撃マップ転送を介してビデオ編集のロックを解除できることが観察されます。
スパース：私たちはVDITで注意を払うスパース性を研究しています。提案されたスパースの方法はすべてのVDITで機能しないことを発見しました。
シンク：VDITの注意シンクの最初の研究を行い、それらを言語モデルの注意シンクと比較して対比します。
私たちは、VDITの効率性のパレートフロンティアを改善するために、私たちの洞察を利用できる多くの将来の方向を提案します。

要約(オリジナル)

We conduct an in-depth analysis of attention in video diffusion transformers (VDiTs) and report a number of novel findings. We identify three key properties of attention in VDiTs: Structure, Sparsity, and Sinks. Structure: We observe that attention patterns across different VDiTs exhibit similar structure across different prompts, and that we can make use of the similarity of attention patterns to unlock video editing via self-attention map transfer. Sparse: We study attention sparsity in VDiTs, finding that proposed sparsity methods do not work for all VDiTs, because some layers that are seemingly sparse cannot be sparsified. Sinks: We make the first study of attention sinks in VDiTs, comparing and contrasting them to attention sinks in language models. We propose a number of future directions that can make use of our insights to improve the efficiency-quality Pareto frontier for VDiTs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google