Subword models struggle with word learning, but surprisal hides it

要約

心理言語学的な語彙決定タスクを使用して、サブワードおよびキャラクター言語モデルで単語学習を研究します。
サブワードLMSは、単語や非単語を高い精度で識別するのに苦労していますが、キャラクターLMSはこのタスクを簡単かつ一貫して解決します。
さらなるコンテキストで提供された場合にのみ、サブワードLMSが文字モデルと同様に実行されます。
さらに、単語レベルおよび構文学習軌跡を見ると、両方のプロセスが文字LMSで分離可能であることがわかります。
単語学習は構文学習前に行われますが、両方ともサブワードLMSで同時に発生します。
これにより、言語の獲得をモデル化するためのサブワードLMSの妥当性に関する疑問が生じ、文字LMSを構文レベル以下の研究プロセスを研究するための実行可能な代替手段として位置付けます。

要約(オリジナル)

We study word learning in subword and character language models with the psycholinguistic lexical decision task. While subword LMs struggle to discern words and non-words with high accuracy, character LMs solve this task easily and consistently. Only when supplied with further contexts do subword LMs perform similarly to character models. Additionally, when looking at word-level and syntactic learning trajectories, we find that both processes are separable in character LMs. Word learning happens before syntactic learning, whereas both occur simultaneously in subword LMs. This raises questions about the adequacy of subword LMs for modeling language acquisition and positions character LMs as a viable alternative to study processes below the syntactic level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google