Language Models Can Learn Exceptions to Syntactic Rules

要約

人工ニューラル ネットワークは、新しいコンテキストに生産的に一般化できます。
彼らはそれらの生産的なルールの例外も学ぶことができるでしょうか?
英語の受動態化に関する制限の例を使用して、この問題を検討します (たとえば、「休暇は 5 日間続いた」という事実は文法的ですが、「*休暇は 5 日間続きました」は文法的ではありません)。
さまざまな動詞を含む受動文に対する人間の受容性判断を収集し、言語モデルである GPT-2 で定義された確率分布が高い相関をもって人間の判断と一致することを示します。
また、能動態と受動態における動詞の相対的な受容性は、それらの音声における動詞の出現の相対頻度と正の相関があることも示します。
これらの結果は、学習者がルールに対する否定的な例外を学習するために入力の分布特性を追跡および使用するという、定着仮説に対する予備的な裏付けを提供します。
同時に、この仮説は、特定の個々の動詞によって示される非受動態化可能性の大きさを説明できず、例外性への他の手がかりが言語入力で利用可能であることを示唆しています。

要約(オリジナル)

Artificial neural networks can generalize productively to novel contexts. Can they also learn exceptions to those productive rules? We explore this question using the case of restrictions on English passivization (e.g., the fact that ‘The vacation lasted five days’ is grammatical, but ‘*Five days was lasted by the vacation’ is not). We collect human acceptability judgments for passive sentences with a range of verbs, and show that the probability distribution defined by GPT-2, a language model, matches the human judgments with high correlation. We also show that the relative acceptability of a verb in the active vs. passive voice is positively correlated with the relative frequency of its occurrence in those voices. These results provide preliminary support for the entrenchment hypothesis, according to which learners track and uses the distributional properties of their input to learn negative exceptions to rules. At the same time, this hypothesis fails to explain the magnitude of unpassivizability demonstrated by certain individual verbs, suggesting that other cues to exceptionality are available in the linguistic input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google