CogLM: Tracking Cognitive Development of Large Language Models

要約

ピアジェの認知発達理論 (PTC) は、認知レベルの発達が人間のさまざまな能力にわたる学習の基礎を形成すると主張しています。
最近、大規模言語モデル (LLM) がさまざまなタスクにわたって顕著な能力を示しているため、現在の LLM の認知レベル、つまり、LLM がどの程度発達しているのか、またこの発達がどのように達成されているのかに興味があります。
この目的を達成するために、LLM の認知レベルを評価するために、PTC に基づいたベンチマーク CogLM (言語モデルの認知能力評価) を構築します。
CogLM は、20 人以上の人間の専門家によって作成された 10 の認知能力にわたる 1,220 の質問で構成され、LLM の認知レベルの包括的なテストベッドを提供します。
CogLM を使用した複数の主流 LLM にわたる広範な実験を通じて、次のことがわかりました。 (1) 高度な LLM (GPT-4) では、20 歳の人間に匹敵する人間のような認知能力が発現しています。
(2) パラメータのサイズと最適化の目的は、LLM の認知レベルに影響を与える 2 つの重要な要素です。
(3) 下流のタスクのパフォーマンスは、認知能力のレベルと正の相関があります。
これらの発見は、LLMの認知能力に関する研究のギャップを埋め、認知の観点からLLMの発達を追跡し、その進化の将来の方向性を導きます。

要約(オリジナル)

Piaget’s Theory of Cognitive Development (PTC) posits that the development of cognitive levels forms the foundation for human learning across various abilities. As Large Language Models (LLMs) have recently shown remarkable abilities across a wide variety of tasks, we are curious about the cognitive levels of current LLMs: to what extent they have developed and how this development has been achieved. To this end, we construct a benchmark CogLM (Cognitive Ability Evaluation for Language Model) based on PTC to assess the cognitive levels of LLMs. CogLM comprises 1,220 questions spanning 10 cognitive abilities crafted by more than 20 human experts, providing a comprehensive testbed for the cognitive levels of LLMs. Through extensive experiments across multiple mainstream LLMs with CogLM, we find that: (1) Human-like cognitive abilities have emerged in advanced LLMs (GPT-4), comparable to those of a 20-year-old human. (2) The parameter size and optimization objective are two key factors affecting the cognitive levels of LLMs. (3) The performance on downstream tasks is positively correlated with the level of cognitive abilities. These findings fill the gap in research on the cognitive abilities of LLMs, tracing the development of LLMs from a cognitive perspective and guiding the future direction of their evolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google