Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れたパフォーマンスを示しただけでなく、知性の輝きも実証しました。
最近の研究は、人間の試験で彼らの能力を評価することに焦点を当てており、さまざまな分野で彼らの優れた能力が明らかになりました。
しかし、LLM の全体的な知識構造に関する認知的研究はまだ不足しています。
この論文では、教育的診断評価手法に基づいて、ブルーム分類法に基づいて綿密に注釈が付けられた人間のテストデータセットである MoocRadar を使用して評価を実行します。
私たちは、LLM の知識構造を明らかにし、LLM の認知能力についての洞察を得ることを目的としています。
この研究は、LLM の知識を調査し、LLM の異なる認知パターンを理解することの重要性を強調しています。
モデルの知識に光を当てることで、研究者はより多くの情報に基づいた効果的な方法で LLM の開発と利用を進めることができます。

要約(オリジナル)

Large Language Models (LLMs) have not only exhibited exceptional performance across various tasks, but also demonstrated sparks of intelligence. Recent studies have focused on assessing their capabilities on human exams and revealed their impressive competence in different domains. However, cognitive research on the overall knowledge structure of LLMs is still lacking. In this paper, based on educational diagnostic assessment method, we conduct an evaluation using MoocRadar, a meticulously annotated human test dataset based on Bloom Taxonomy. We aim to reveal the knowledge structures of LLMs and gain insights of their cognitive capabilities. This research emphasizes the significance of investigating LLMs’ knowledge and understanding the disparate cognitive patterns of LLMs. By shedding light on models’ knowledge, researchers can advance development and utilization of LLMs in a more informed and effective manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google