Spelling convention sensitivity in neural language models

要約

さまざまな英語のテキストの非常に大規模なコレクションでトレーニングされた大規模なニューラル言語モデルが、英国と米国のスペル規則の潜在的な長距離依存関係を学習するかどうか、つまり、スペルがモデル生成文字列内で一貫してどちらかであるかどうかを調べます。
非表面の基礎となる構造 (構文など) の長距離依存関係とは対照的に、スペリングの一貫性は、LM とそれらをトレーニングするために使用されるテキスト コーパスの両方で測定する方が簡単です。
イギリス英語またはアメリカ英語のいずれかに固有の一連のプローブ ワードを使用して、トレーニング コーパスが実質的な (完全ではない) 一貫性を示すことを最初に確認します。
大規模な T5 言語モデルは、この一貫性を内部化しているように見えますが、観察された語彙項目に関してのみです (イギリス/アメリカの綴りパターンを持つ nonce 単語ではありません)。
さらに、偏りが解消された合成データで T5 を微調整することにより、トレーニング データの偏りを修正する実験を行ったところ、微調整された T5 はスペルの一貫性にわずかに敏感なままであることがわかりました。
さらなる実験は、GPT2が同様に制限されることを示しています。

要約(オリジナル)

We examine whether large neural language models, trained on very large collections of varied English text, learn the potentially long-distance dependency of British versus American spelling conventions, i.e., whether spelling is consistently one or the other within model-generated strings. In contrast to long-distance dependencies in non-surface underlying structure (e.g., syntax), spelling consistency is easier to measure both in LMs and the text corpora used to train them, which can provide additional insight into certain observed model behaviors. Using a set of probe words unique to either British or American English, we first establish that training corpora exhibit substantial (though not total) consistency. A large T5 language model does appear to internalize this consistency, though only with respect to observed lexical items (not nonce words with British/American spelling patterns). We further experiment with correcting for biases in the training data by fine-tuning T5 on synthetic data that has been debiased, and find that finetuned T5 remains only somewhat sensitive to spelling consistency. Further experiments show GPT2 to be similarly limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google