How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding

要約

多くの領域にわたるトランスフォーマーの成功には議論の余地がありませんが、学習メカニズムの正確な理解は依然としてほとんど不足しています。
彼らの能力は、さまざまな構造化および推論タスクを含むベンチマークで調査されていますが、数学的理解は大幅に遅れています。
最近の研究では、この問題の表現的側面、つまり、特定のタスクを実行するための注意ベースのネットワークのサイズ/深さ/複雑さの研究が開始されています。
ただし、学習ダイナミクスが提案された構造に収束するという保証はありません。
私たちの論文では、トランスフォーマーが単語の共起構造を捕捉するものとして理解される「意味構造」をどのように学習するかについて、きめ細かいメカニズムの理解を提供します。
正確には、Wikipedia データと潜在ディリクレ割り当て (LDA) によってモデル化された合成データに対する数学的分析と実験の組み合わせを通じて、埋め込み層とセルフアテンション層がトピック構造をエンコードしていることを示します。
前者の場合、これは、同じトピックの単語間の埋め込みの平均内積がより高いこととして現れます。
後者では、同じトピックの単語間のペアごとの注意力の平均値が高くなります。
数学的結果には、分析を扱いやすくするためのいくつかの仮定が含まれており、それらはデータに基づいて検証されており、独立した興味深いものになる可能性もあります。

要約(オリジナル)

While the successes of transformers across many domains are indisputable, accurate understanding of the learning mechanics is still largely lacking. Their capabilities have been probed on benchmarks which include a variety of structured and reasoning tasks — but mathematical understanding is lagging substantially behind. Recent lines of work have begun studying representational aspects of this question: that is, the size/depth/complexity of attention-based networks to perform certain tasks. However, there is no guarantee the learning dynamics will converge to the constructions proposed. In our paper, we provide fine-grained mechanistic understanding of how transformers learn ‘semantic structure’, understood as capturing co-occurrence structure of words. Precisely, we show, through a combination of mathematical analysis and experiments on Wikipedia data and synthetic data modeled by Latent Dirichlet Allocation (LDA), that the embedding layer and the self-attention layer encode the topical structure. In the former case, this manifests as higher average inner product of embeddings between same-topic words. In the latter, it manifests as higher average pairwise attention between same-topic words. The mathematical results involve several assumptions to make the analysis tractable, which we verify on data, and might be of independent interest as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google