A distributional simplicity bias in the learning dynamics of transformers

要約

効果的に一般化するための過剰パラメーター化されたニューラルネットワークの顕著な能力は、「シンプルさのバイアス」を呼び出すことによって説明されています。
シンプルさのバイアスは、監視された学習のためのフィードフォワードネットワークで理論的および実験的に説明されていますが、自己監視技術で訓練されたトランスの顕著な成功も説明している程度も不明のままです。
私たちの研究では、自然言語データの訓練を受けたトランスフォーマーもシンプルさのバイアスを示すことを示しています。
具体的には、入力トークン間の多体相互作用を順次学習し、高級相互作用の学習を続けながら、低級相互作用の予測エラーの飽和点に達します。
この分析を実施するために、指定された順序までのトークン間の相互作用を厳密にキャプチャする、特定の自然言語データセットの\ textit {clones}を生成する手順を開発します。
このアプローチは、データにおけるさまざまな順序の相互作用が学習、自然言語処理、それ以降にどのように影響するかを研究する可能性を開きます。

要約(オリジナル)

The remarkable capability of over-parameterised neural networks to generalise effectively has been explained by invoking a “simplicity bias”: neural networks prevent overfitting by initially learning simple classifiers before progressing to more complex, non-linear functions. While simplicity biases have been described theoretically and experimentally in feed-forward networks for supervised learning, the extent to which they also explain the remarkable success of transformers trained with self-supervised techniques remains unclear. In our study, we demonstrate that transformers, trained on natural language data, also display a simplicity bias. Specifically, they sequentially learn many-body interactions among input tokens, reaching a saturation point in the prediction error for low-degree interactions while continuing to learn high-degree interactions. To conduct this analysis, we develop a procedure to generate \textit{clones} of a given natural language data set, which rigorously capture the interactions between tokens up to a specified order. This approach opens up the possibilities of studying how interactions of different orders in the data affect learning, in natural language processing and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google