Investigating grammatical abstraction in language models using few-shot learning of novel noun gender

要約

人間は新しい単語を学習し、非常に少ない例からその文法的性質を推測することができます。
彼らは、新しい構文コンテキストや単語に適用できる、文法の性や一致規則などの言語特性の抽象的な概念を持っています。
心理言語学からインスピレーションを得て、LSTM とデコーダ専用変換器がフランス語の文法上の性別を人間のように抽象化できるかどうかを評価するために名詞学習実験を実施します。
言語モデルには、ある文法的一致コンテキスト内のいくつかの例から埋め込まれた新規名詞の性別を学習し、別の目に見えないコンテキストでの一致を予測するという任務が与えられました。
どちらの言語モデルも、男性の性別カテゴリーに偏りはあるものの、1 つから 2 つの学習例から新しい名詞の性別を効果的に一般化し、学習した性別を合意の文脈全体に適用することがわかりました。
重要なのは、数回のショットの更新が埋め込み層にのみ適用され、モデルが単語埋め込み空間内で十分な性別情報をエンコードしていることを示していることです。
モデルの一般化動作は、モデルが人間と同様に文法上の性別を抽象的なカテゴリとして表すことを示唆していますが、これがどのように正確に実装されるかについての詳細を調査するにはさらなる研究が必要です。
人間の行動と比較する観点から、同様のワンショットの新規名詞の性別学習実験を実施しました。その結果、言語モデルと同様に、フランス語の母語話者も男性的なジェンダーバイアスを示し、優れたワンショット学習者ではないことが明らかになりました。

要約(オリジナル)

Humans can learn a new word and infer its grammatical properties from very few examples. They have an abstract notion of linguistic properties like grammatical gender and agreement rules that can be applied to novel syntactic contexts and words. Drawing inspiration from psycholinguistics, we conduct a noun learning experiment to assess whether an LSTM and a decoder-only transformer can achieve human-like abstraction of grammatical gender in French. Language models were tasked with learning the gender of a novel noun embedding from a few examples in one grammatical agreement context and predicting agreement in another, unseen context. We find that both language models effectively generalise novel noun gender from one to two learning examples and apply the learnt gender across agreement contexts, albeit with a bias for the masculine gender category. Importantly, the few-shot updates were only applied to the embedding layers, demonstrating that models encode sufficient gender information within the word embedding space. While the generalisation behaviour of models suggests that they represent grammatical gender as an abstract category, like humans, further work is needed to explore the details of how exactly this is implemented. For a comparative perspective with human behaviour, we conducted an analogous one-shot novel noun gender learning experiment, which revealed that native French speakers, like language models, also exhibited a masculine gender bias and are not excellent one-shot learners either.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google