AttentionViz: A Global View of Transformer Attention

要約

Transformer モデルは機械学習に革命をもたらしていますが、その内部の仕組みは依然として謎に包まれています。
この研究では、研究者がトランスフォーマーの自己注意メカニズムを理解するのに役立つように設計された新しい視覚化手法を紹介します。これにより、これらのモデルはシーケンスの要素間の豊富な文脈上の関係を学習できるようになります。
私たちの方法の背後にある主なアイデアは、アテンションを計算するためにトランスフォーマー モデルによって使用されるクエリとキー ベクトルの結合埋め込みを視覚化することです。
以前のアテンション視覚化手法とは異なり、私たちのアプローチでは、複数の入力シーケンスにわたる全体的なパターンの分析が可能になります。
これらの共同クエリキー埋め込みに基づいて、インタラクティブな視覚化ツール AttendanceViz (デモ: http://attentionviz.com) を作成し、それを使用して言語変換と視覚変換の両方における注意メカニズムを研究します。
いくつかのアプリケーション シナリオと専門家のフィードバックを通じて、モデルの理解を向上させ、クエリとキーの相互作用に関する新しい洞察を提供するというアプローチの有用性を実証します。

要約(オリジナル)

Transformer models are revolutionizing machine learning, but their inner workings remain mysterious. In this work, we present a new visualization technique designed to help researchers understand the self-attention mechanism in transformers that allows these models to learn rich, contextual relationships between elements of a sequence. The main idea behind our method is to visualize a joint embedding of the query and key vectors used by transformer models to compute attention. Unlike previous attention visualization techniques, our approach enables the analysis of global patterns across multiple input sequences. We create an interactive visualization tool, AttentionViz (demo: http://attentionviz.com), based on these joint query-key embeddings, and use it to study attention mechanisms in both language and vision transformers. We demonstrate the utility of our approach in improving model understanding and offering new insights about query-key interactions through several application scenarios and expert feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google