Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors

要約

タイトル：辞書学習を用いたTransformerの可視化：文脈化埋め込みをTransformer要素の線型重ね合わせとして

要約：
– Transformerネットワークは、導入されて以来、NLP表現学習を革命化してきました。
– Transformerの表現を説明するために多大な努力がなされているにもかかわらず、私たちの理解は十分とは言えません。
– この問題に対処するには、詳細な分析に必要な可視化ツールが不足していることが認識されています。
– 本論文では、辞書学習を使用して、Transformer要素の線型重ね合わせとしてこれらの「ブラックボックス」を解析します。
– ビジュアライゼーションを通じて、Transformer要素によって捕捉される階層的な意味構造を示します。例えば、単語レベルの多義性の曖昧さの除去、文レベルのパターン形成、長距離依存。
– これらのパターンのうち、いくつかは従来の言語学的知識を確認するものであり、残りのものは比較的予想外であり、新しい知見を提供する可能性があります。
– この可視化ツールがTransformerネットワークの仕組みを深く理解するために、もっと多くの知識をもたらすことを期待しています。
– コードはhttps://github.com/zeyuyun1/TransformerVisで入手可能です。

要約(オリジナル)

Transformer networks have revolutionized NLP representation learning since they were introduced. Though a great effort has been made to explain the representation in transformers, it is widely recognized that our understanding is not sufficient. One important reason is that there lack enough visualization tools for detailed analysis. In this paper, we propose to use dictionary learning to open up these ‘black boxes’ as linear superpositions of transformer factors. Through visualization, we demonstrate the hierarchical semantic structures captured by the transformer factors, e.g., word-level polysemy disambiguation, sentence-level pattern formation, and long-range dependency. While some of these patterns confirm the conventional prior linguistic knowledge, the rest are relatively unexpected, which may provide new insights. We hope this visualization tool can bring further knowledge and a better understanding of how transformer networks work. The code is available at https://github.com/zeyuyun1/TransformerVis

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI