Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs

要約

NLP における解釈可能性の研究のほとんどは、完全にトレーニングされたモデルの動作と特徴を理解することに焦点を当てています。
ただし、モデルの動作に関する特定の洞察は、トレーニング プロセスの軌跡を観察することによってのみ得られる場合があります。
マスク言語モデル (MLM) での構文獲得のケーススタディを紹介します。これは、トレーニングを通じて解釈可能なアーティファクトの進化を分析することで、新たな動作の理解がどのように深まるかを示しています。
特に、特定の Transformer ヘッドが特定の構文関係に焦点を当てる傾向がある MLM の自然に出現する特性である Syntactic tention Structure (SAS) を研究します。
事前トレーニング中に、損失の急激な低下と同時にモデルが突然 SAS を取得する短いウィンドウを特定します。
この画期的な進歩により、その後の言語能力の獲得が促進されます。
次に、訓練中に SAS を操作することで SAS の因果的役割を調べ、SAS が文法能力の発達に必要であることを実証します。
さらに、SAS はトレーニング中に他の有益な特性と競合し、SAS を一時的に抑制するとモデルの品質が向上することがわかりました。
これらの発見は、単純性バイアスと画期的なトレーニング ダイナミクスの両方の実世界の例の解釈を提供します。

要約(オリジナル)

Most interpretability research in NLP focuses on understanding the behavior and features of a fully trained model. However, certain insights into model behavior may only be accessible by observing the trajectory of the training process. We present a case study of syntax acquisition in masked language models (MLMs) that demonstrates how analyzing the evolution of interpretable artifacts throughout training deepens our understanding of emergent behavior. In particular, we study Syntactic Attention Structure (SAS), a naturally emerging property of MLMs wherein specific Transformer heads tend to focus on specific syntactic relations. We identify a brief window in pretraining when models abruptly acquire SAS, concurrent with a steep drop in loss. This breakthrough precipitates the subsequent acquisition of linguistic capabilities. We then examine the causal role of SAS by manipulating SAS during training, and demonstrate that SAS is necessary for the development of grammatical capabilities. We further find that SAS competes with other beneficial traits during training, and that briefly suppressing SAS improves model quality. These findings offer an interpretation of a real-world example of both simplicity bias and breakthrough training dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google