Second Language Acquisition of Neural Language Models

要約

神経言語モデル (LM) の成功により、その言語習得は大きな注目を集めています。
これまでの研究では通常、LM の第一言語 (L1) の習得が検討されていましたが、この研究は LM の第二言語 (L2) の習得に光を当てています。
具体的には、人間の L2 習得と同様のシナリオでバイリンガル LM をトレーニングし、言語間の観点から彼らの言語間の伝達を分析しました。
私たちの探索的実験では、L1 事前トレーニングが L2 での言語一般化を加速し、言語伝達構成 (L1 の選択や並列テキストの存在など) が一般化に大きな影響を与えることが実証されました。
これらは、特定の側面における彼らの（非）人間のような L2 獲得を明らかにします。

要約(オリジナル)

With the success of neural language models (LMs), their language acquisition has gained much attention. This work sheds light on the second language (L2) acquisition of LMs, while previous work has typically explored their first language (L1) acquisition. Specifically, we trained bilingual LMs with a scenario similar to human L2 acquisition and analyzed their cross-lingual transfer from linguistic perspectives. Our exploratory experiments demonstrated that the L1 pretraining accelerated their linguistic generalization in L2, and language transfer configurations (e.g., the L1 choice, and presence of parallel texts) substantially affected their generalizations. These clarify their (non-)human-like L2 acquisition in particular aspects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google