No Such Thing as a General Learner: Language models and their dual optimization

要約

成功している大規模言語モデル (LLM) は、人間の認知の理解において、特に言語習得に関する議論に情報を提供するという点で、どのような役割を果たせるでしょうか?
この疑問に答えるために、まず人間も LLM も、さまざまな意味で一般的な学習者ではない、と主張します。
私たちは、特に LLM がどのように二重最適化プロセスに従うかについて、新しいケースを作成します。つまり、LLM はトレーニング中に最適化され (これは通常、言語習得と比較されます)、現代の LLM もまた、自然選択に似たプロセスを通じて選択されています。
種。
この観点から、人間のパフォーマンスと似ているか似ていないにせよ、LLM のパフォーマンスは、言語に対する人間の認知バイアスの重要性に関する重要な議論に容易に影響を与えるものではないと私たちは主張します。

要約(オリジナル)

What role can the otherwise successful Large Language Models (LLMs) play in the understanding of human cognition, and in particular in terms of informing language acquisition debates? To contribute to this question, we first argue that neither humans nor LLMs are general learners, in a variety of senses. We make a novel case for how in particular LLMs follow a dual-optimization process: they are optimized during their training (which is typically compared to language acquisition), and modern LLMs have also been selected, through a process akin to natural selection in a species. From this perspective, we argue that the performance of LLMs, whether similar or dissimilar to that of humans, does not weigh easily on important debates about the importance of human cognitive biases for language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google