How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding

要約

多くのドメインでのトランスフォーマーの成功は議論の余地がありませんが、学習メカニズムの正確な理解はまだ大きく欠けています。
彼らの能力は、さまざまな構造化された推論タスクを含むベンチマークで調査されていますが、数学的理解は大幅に遅れています.
最近の研究では、この問題の代表的な側面の研究が始まっています。つまり、特定のタスクを実行するための注意ベースのネットワークのサイズ/深さ/複雑さです。
ただし、学習ダイナミクスが提案された構造に収束するという保証はありません。
私たちの論文では、トランスフォーマーが「意味構造」を学習する方法のきめの細かい機械的理解を提供します。これは、単語の共起構造をキャプチャするものとして理解されます。
正確には、Latent Dirichlet Allocation (LDA) によってモデル化された合成データ、ウィキペディアのデータ、および数学的分析の組み合わせを通じて、埋め込みレイヤーと自己注意レイヤーがトピック構造をエンコードすることを示しています。
前者の場合、これは、同じトピックの単語間の埋め込みのより高い平均内積として現れます。
後者の場合、同じトピックの単語間のペアワイズ アテンションの平均値が高くなります。
数学的結果には、分析を扱いやすくするためのいくつかの仮定が含まれており、これはデータで検証されており、独立した関心事でもある可能性があります。

要約(オリジナル)

While the successes of transformers across many domains are indisputable, accurate understanding of the learning mechanics is still largely lacking. Their capabilities have been probed on benchmarks which include a variety of structured and reasoning tasks — but mathematical understanding is lagging substantially behind. Recent lines of work have begun studying representational aspects of this question: that is, the size/depth/complexity of attention-based networks to perform certain tasks. However, there is no guarantee the learning dynamics will converge to the constructions proposed. In our paper, we provide fine-grained mechanistic understanding of how transformers learn ‘semantic structure’, understood as capturing co-occurrence structure of words. Precisely, we show, through a combination of experiments on synthetic data modeled by Latent Dirichlet Allocation (LDA), Wikipedia data, and mathematical analysis that the embedding layer and the self-attention layer encode the topical structure. In the former case, this manifests as higher average inner product of embeddings between same-topic words. In the latter, it manifests as higher average pairwise attention between same-topic words. The mathematical results involve several assumptions to make the analysis tractable, which we verify on data, and might be of independent interest as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google