What makes a language easy to deep-learn?

要約

ニューラル ネットワークは、自然言語処理の成功を後押しします。
自然言語の基本的な特性は、新しい意味を体系的に記述することを可能にする構成構造です。
ただし、ニューラル ネットワークは、体系的な一般化に苦労することで有名であり、緊急通信シミュレーションにおける構成構造から必ずしも恩恵を受けるとは限りません。
ここでは、新しい言語の学習と一般化において、ニューラル ネットワークが人間とどのように比較されるかをテストします。
これは、人工言語学習研究 (元々は人間の参加者を対象に実施されたもの) を厳密に再現し、入力言語の構造の程度に関してディープ ニューラル ネットワークの記憶と一般化の能力を評価することによって行います。
私たちの結果は、人間とディープ ニューラル ネットワークの驚くべき類似点を示しています。より構造化された言語入力は、人間とニューラル ネットワーク エージェント間、および異なるニューラル エージェント間で、より体系的な一般化とより良い収束をもたらします。
次に、人間に見られるこの構造バイアスとリカレント ニューラル ネットワークを Transformer ベースの大規模言語モデル (GPT-3) で複製し、一般化の体系化と記憶エラーに関する構造化された言語入力に対して同様の利点を示します。
これらの調査結果は、言語の根底にある構造が体系的な一般化にとって重要であることを示しています。
コミュニティのサイズと自然言語の言語構造との相関関係により、私たちの調査結果は、リソースの少ない言語の自動処理の課題を強調しています。
それにもかかわらず、人間と機械の類似性は、言語進化研究に新たな道を開きます。

要約(オリジナル)

Neural networks drive the success of natural language processing. A fundamental property of natural languages is their compositional structure, allowing us to describe new meanings systematically. However, neural networks notoriously struggle with systematic generalization and do not necessarily benefit from a compositional structure in emergent communication simulations. Here, we test how neural networks compare to humans in learning and generalizing a new language. We do this by closely replicating an artificial language learning study (conducted originally with human participants) and evaluating the memorization and generalization capabilities of deep neural networks with respect to the degree of structure in the input language. Our results show striking similarities between humans and deep neural networks: More structured linguistic input leads to more systematic generalization and better convergence between humans and neural network agents and between different neural agents. We then replicate this structure bias found in humans and our recurrent neural networks with a Transformer-based large language model (GPT-3), showing a similar benefit for structured linguistic input regarding generalization systematicity and memorization errors. These findings show that the underlying structure of languages is crucial for systematic generalization. Due to the correlation between community size and linguistic structure in natural languages, our findings underscore the challenge of automated processing of low-resource languages. Nevertheless, the similarity between humans and machines opens new avenues for language evolution research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google