Unveiling the Learning Mind of Language Models: A Cognitive Framework and Empirical Study

要約

大規模な言語モデル（LLMS）は、数学、コーディング、推論などのタスク全体で印象的な機能を示していますが、動的な環境に適応して新しい知識を獲得するために重要な学習能力は未定です。
この作業では、認知心理学と教育に触発されたフレームワークを導入することにより、このギャップに対処します。
具体的には、一般的な学習能力を3つの異なる補完的な次元に分解します。インストラクター（明示的なガイダンスを介して知識を獲得する）、概念（抽象構造の内在化、新しいコンテキストへの一般化）からの学習、および経験からの学習（蓄積された探索とフィードバックによる適応）。
3つの学習ディメンションにわたって包括的な経験的研究を実施し、（i）相互作用が学習を改善するなど、いくつかの洞察に満ちた調査結果を特定します。
（ii）概念的理解はスケールエルガーであり、より大きなモデルに利益をもたらします。
（iii）LLMSは効果的な少数の学習者ですが、多くのショット学習者ではありません。
私たちのフレームワークと経験的調査結果に基づいて、3つの学習認識の次元にわたってLLMSの一般学習能力の統一された現実的な評価を提供するベンチマークを紹介します。
診断の洞察を可能にし、より適応性のある人間のようなモデルの評価と開発をサポートします。

要約(オリジナル)

Large language models (LLMs) have shown impressive capabilities across tasks such as mathematics, coding, and reasoning, yet their learning ability, which is crucial for adapting to dynamic environments and acquiring new knowledge, remains underexplored. In this work, we address this gap by introducing a framework inspired by cognitive psychology and education. Specifically, we decompose general learning ability into three distinct, complementary dimensions: Learning from Instructor (acquiring knowledge via explicit guidance), Learning from Concept (internalizing abstract structures and generalizing to new contexts), and Learning from Experience (adapting through accumulated exploration and feedback). We conduct a comprehensive empirical study across the three learning dimensions and identify several insightful findings, such as (i) interaction improves learning; (ii) conceptual understanding is scale-emergent and benefits larger models; and (iii) LLMs are effective few-shot learners but not many-shot learners. Based on our framework and empirical findings, we introduce a benchmark that provides a unified and realistic evaluation of LLMs’ general learning abilities across three learning cognition dimensions. It enables diagnostic insights and supports evaluation and development of more adaptive and human-like models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google