The Heuristic Core: Understanding Subnetwork Generalization in Pretrained Language Models

要約

これまでの研究では、さまざまなランダム シードで微調整された事前トレーニング済み言語モデル (LM) は、同様のドメイン内パフォーマンスを達成できるが、構文一般化のテストでは一般化が異なることが判明しました。
この研究では、単一のモデル内であっても、ドメイン内では同様に動作するが、一般化が大きく異なる複数のサブネットワークが存在することを示します。
これらの現象をより深く理解するために、「競合するサブネットワーク」という観点から理解できるかどうかを調査します。モデルは最初、異なるサブネットワークに対応するさまざまな異なるアルゴリズムを表し、最終的に 1 つに収束するときに一般化が発生します。
この説明は、単純なアルゴリズム タスクにおける一般化を説明するために使用されています。
競合するサブネットワークを見つける代わりに、すべてのサブネットワークが、一般化されているかどうかに関係なく、ヒューリスティック コアと呼ばれる一連のアテンション ヘッドを共有していることがわかります。
さらなる分析により、これらのアテンションヘッドはトレーニングの早い段階で出現し、浅い非一般化特徴を計算することが示唆されています。
モデルは、より高いレベルの特徴を計算するための「ヒューリスティック」ヘッドの出力に依存する追加のアテンション ヘッドを組み込むことによって一般化することを学習します。
全体として、私たちの結果は、事前訓練された LM における構文一般化のメカニズムのより詳細な全体像を提供します。

要約(オリジナル)

Prior work has found that pretrained language models (LMs) fine-tuned with different random seeds can achieve similar in-domain performance but generalize differently on tests of syntactic generalization. In this work, we show that, even within a single model, we can find multiple subnetworks that perform similarly in-domain, but generalize vastly differently. To better understand these phenomena, we investigate if they can be understood in terms of ‘competing subnetworks’: the model initially represents a variety of distinct algorithms, corresponding to different subnetworks, and generalization occurs when it ultimately converges to one. This explanation has been used to account for generalization in simple algorithmic tasks. Instead of finding competing subnetworks, we find that all subnetworks — whether they generalize or not — share a set of attention heads, which we refer to as the heuristic core. Further analysis suggests that these attention heads emerge early in training and compute shallow, non-generalizing features. The model learns to generalize by incorporating additional attention heads, which depend on the outputs of the ‘heuristic’ heads to compute higher-level features. Overall, our results offer a more detailed picture of the mechanisms for syntactic generalization in pretrained LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google