AttentionViz: A Global View of Transformer Attention

要約

タイトル：AttentionViz：Transformerのアテンションのグローバルビュー
要約：

– Transformerモデルは、機械学習を革新していますが、その内部機能はまだ不明なままです。
– この研究では、Transformerモデルによるシーケンスの要素間の豊富な文脈関係の学習を可能にするセルフアテンションメカニズムを理解するのを支援するために設計された新しいビジュアライゼーション技術を提案しています。
– 私たちの方法の主なアイデアは、Transformerモデルがアテンションを計算するために使用するクエリとキーベクトルの共同埋め込みを視覚化することです。
– 以前のアテンションの可視化技術とは異なり、私たちのアプローチは、複数の入力シーケンスにわたるグローバルなパターンの分析を可能にします。
– 私たちは、これらの共同クエリキーの埋め込みに基づくインタラクティブなビジュアライゼーションツールAttentionVizを作成し、言語とビジョンのTransformerのアテンションメカニズムを研究するために使用します。
– アプリケーションシナリオと専門家フィードバックを通じて、私たちの手法の有用性と、クエリとキーの相互作用に関する新しい洞察を提供することを示します。

要約(オリジナル)

Transformer models are revolutionizing machine learning, but their inner workings remain mysterious. In this work, we present a new visualization technique designed to help researchers understand the self-attention mechanism in transformers that allows these models to learn rich, contextual relationships between elements of a sequence. The main idea behind our method is to visualize a joint embedding of the query and key vectors used by transformer models to compute attention. Unlike previous attention visualization techniques, our approach enables the analysis of global patterns across multiple input sequences. We create an interactive visualization tool, AttentionViz, based on these joint query-key embeddings, and use it to study attention mechanisms in both language and vision transformers. We demonstrate the utility of our approach in improving model understanding and offering new insights about query-key interactions through several application scenarios and expert feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI