A distributional simplicity bias in the learning dynamics of transformers

要約

過剰パラメータ化されたニューラル ネットワークが効果的に一般化する驚くべき能力は、「単純性バイアス」を呼び出すことで説明されています。つまり、ニューラル ネットワークは、より複雑な非線形関数に進む前に、最初に単純な分類器を学習することで過剰適合を防ぎます。
単純性バイアスは、教師あり学習のフィードフォワード ネットワークにおいて理論的および実験的に説明されていますが、自己教師あり手法で訓練された変換器の顕著な成功をそれらがどの程度説明するのかは依然として不明です。
私たちの研究では、自然言語データでトレーニングされたトランスフォーマーも単純性バイアスを示すことを実証しました。
具体的には、入力トークン間の多体相互作用を順次学習し、低次数の相互作用の予測誤差が飽和点に達する一方で、高次数の相互作用を学習し続けます。
この分析を行うために、特定の自然言語データセットの \textit{クローン} を生成する手順を開発します。これにより、指定された順序までのトークン間の相互作用が厳密にキャプチャされます。
このアプローチにより、データ内のさまざまな順序の相互作用が自然言語処理などの学習にどのような影響を与えるかを研究する可能性が開かれます。

要約(オリジナル)

The remarkable capability of over-parameterised neural networks to generalise effectively has been explained by invoking a “simplicity bias”: neural networks prevent overfitting by initially learning simple classifiers before progressing to more complex, non-linear functions. While simplicity biases have been described theoretically and experimentally in feed-forward networks for supervised learning, the extent to which they also explain the remarkable success of transformers trained with self-supervised techniques remains unclear. In our study, we demonstrate that transformers, trained on natural language data, also display a simplicity bias. Specifically, they sequentially learn many-body interactions among input tokens, reaching a saturation point in the prediction error for low-degree interactions while continuing to learn high-degree interactions. To conduct this analysis, we develop a procedure to generate \textit{clones} of a given natural language data set, which rigorously capture the interactions between tokens up to a specified order. This approach opens up the possibilities of studying how interactions of different orders in the data affect learning, in natural language processing and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google