Child vs. machine language learning: Can the logical structure of human language unleash LLMs?

要約

私たちは、人間の言語学習は、現在のアプローチからLLMSのトレーニングまで、学習バイアスの違いを予測するまで、本質的に異なる方法で進行すると主張します。
次に、非常に強力な実装でさえ、人間が問題ない言語に固有の論理の側面を見逃す結果を生み出すという仮説を確認するLLMによるドイツの複数形成からの証拠を提示します。
人間の言語と人工ニューラルネットワークのさまざまな構造への注意は、LLMのパフォーマンスを改善するための道である可能性が高いと結論付けています。

要約(オリジナル)

We argue that human language learning proceeds in a manner that is different in nature from current approaches to training LLMs, predicting a difference in learning biases. We then present evidence from German plural formation by LLMs that confirm our hypothesis that even very powerful implementations produce results that miss aspects of the logic inherent to language that humans have no problem with. We conclude that attention to the different structures of human language and artificial neural networks is likely to be an avenue to improve LLM performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google