What Makes a Language Easy to Deep-Learn?

要約

ニューラル ネットワークは、自然言語処理の成功を推進します。
言語の基本的な特性はその構成構造であり、これにより人間は体系的に新しい意味の形式を生み出すことができます。
ただし、人間とは異なり、ニューラル ネットワークは体系的な一般化に苦労することで知られており、創発的な通信シミュレーションでは必ずしも構成構造から恩恵を受けるわけではありません。
これは、人間の言語学習と進化をシミュレートするためにニューラル ネットワークを使用する場合に問題を引き起こし、さまざまな学習システムのバイアスに決定的な違いがあることを示唆しています。
ここでは、構造の程度が異なるさまざまな入力言語の学習と一般化において、ニューラル ネットワークが人間とどのように比較されるかを直接テストします。
事前トレーニング済み言語モデル GPT-3.5 (成人の第 2 言語学習者に類似) と、ゼロからトレーニングされたリカレント ニューラル ネットワーク (子供の第一言語学習者に類似) の記憶力と汎化能力を評価します。
私たちの結果は、ディープ ニューラル ネットワークと成人の人間の学習者の間に顕著な類似点があり、より構造化された言語入力がより体系的な一般化につながり、ニューラル ネットワークと人間の間のより良い収束につながることを示しています。
これらの発見は、すべての学習システムが同様に言語の構造に敏感であり、構成性が学習に有利であることを示唆しています。
私たちの調査結果は、子どもたちの学習バイアスに関する明確な予測を導き出すとともに、小規模コミュニティで話される言語の自動処理の課題を浮き彫りにしました。
特に、人間と機械の類似性は、言語学習と進化に関する研究に新たな道を開きます。

要約(オリジナル)

Neural networks drive the success of natural language processing. A fundamental property of language is its compositional structure, allowing humans to produce forms for new meanings systematically. However, unlike humans, neural networks notoriously struggle with systematic generalization, and do not necessarily benefit from compositional structure in emergent communication simulations. This poses a problem for using neural networks to simulate human language learning and evolution, and suggests crucial differences in the biases of the different learning systems. Here, we directly test how neural networks compare to humans in learning and generalizing different input languages that vary in their degree of structure. We evaluate the memorization and generalization capabilities of a pre-trained language model GPT-3.5 (analagous to an adult second language learner) and recurrent neural networks trained from scratch (analaogous to a child first language learner). Our results show striking similarities between deep neural networks and adult human learners, with more structured linguistic input leading to more systematic generalization and to better convergence between neural networks and humans. These findings suggest that all the learning systems are sensitive to the structure of languages in similar ways with compositionality being advantageous for learning. Our findings draw a clear prediction regarding children’s learning biases, as well as highlight the challenges of automated processing of languages spoken by small communities. Notably, the similarity between humans and machines opens new avenues for research on language learning and evolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google