The geometry of BERT

要約

トランスニューラルネットワーク、特に変圧器（BERT）からの双方向エンコーダー表現は、分類、テキストの要約、質問への回答などのさまざまなタスクで顕著なパフォーマンスを示しています。
しかし、それらの内部メカニズムは数学的にあいまいなままであり、より大きな説明可能性と解釈可能性の必要性を強調しています。
この方向に、この論文は、理論的視点からバートの注意メカニズムに関する新しい視点を提案するバートの内部メカニズムを調査します。
分析には、ローカルおよびグローバルネットワークの両方の動作が含まれます。
ローカルレベルでは、サブスペース選択の方向性の概念と、自己関節マトリックスから出現するパターンの包括的な研究が提示されています。
さらに、この作業では、データ分布分析と、コーンインデックスの新しい概念を含むグローバルな統計的測定を通じて、情報ストリームの意味コンテンツを調査します。
RNAを使用したSARS-COV-2バリアントの分類に関するケーススタディで、アプリケーションでこれらの概念を観察するために非常に高い精度が選択されました。
この分析から得られた洞察は、バートの分類プロセスのより深い理解に貢献し、変圧器モデルの将来の建築改善とトレーニングプロセスのさらなる分析のための潜在的な道を提供します。

要約(オリジナル)

Transformer neural networks, particularly Bidirectional Encoder Representations from Transformers (BERT), have shown remarkable performance across various tasks such as classification, text summarization, and question answering. However, their internal mechanisms remain mathematically obscure, highlighting the need for greater explainability and interpretability. In this direction, this paper investigates the internal mechanisms of BERT proposing a novel perspective on the attention mechanism of BERT from a theoretical perspective. The analysis encompasses both local and global network behavior. At the local level, the concept of directionality of subspace selection as well as a comprehensive study of the patterns emerging from the self-attention matrix are presented. Additionally, this work explores the semantic content of the information stream through data distribution analysis and global statistical measures including the novel concept of cone index. A case study on the classification of SARS-CoV-2 variants using RNA which resulted in a very high accuracy has been selected in order to observe these concepts in an application. The insights gained from this analysis contribute to a deeper understanding of BERT’s classification process, offering potential avenues for future architectural improvements in Transformer models and further analysis in the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google