Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?

要約

この論文では、異なる概念が大規模な言語モデルの異なる層で学習される、つまり、より難しい概念はより深い層で完全に習得されるという現象を研究しています。
概念の難しさは抽象化のレベルによって定義されますが、ここでは事実、感情、推論によって大まかに分類されます。
各カテゴリには、単純なものから複雑なものまで、さまざまなタスクが含まれています。
たとえば、事実の側面では、タスクは嘘発見から数学的問題の分類まで多岐にわたります。
私たちは、モデルのさまざまなレイヤーから表現を抽出するプローブ手法を採用し、それらを分類タスクに適用します。
私たちの調査結果では、モデルは単純なタスクを効率的に分類する傾向があることが明らかになり、これらの概念がより浅い層で学習されることを示しています。
逆に、より複雑なタスクは、たとえあったとしても、より深い層でしか認識できない可能性があります。
この論文では、モデル学習プロセスと内部表現の理解に対するこれらの発見の影響を探ります。
私たちの実装は \url{https://github.com/Luckfort/CD} で入手できます。

要約(オリジナル)

This paper studies the phenomenon that different concepts are learned in different layers of large language models, i.e. more difficult concepts are fully acquired with deeper layers. We define the difficulty of concepts by the level of abstraction, and here it is crudely categorized by factual, emotional, and inferential. Each category contains a spectrum of tasks, arranged from simple to complex. For example, within the factual dimension, tasks range from lie detection to categorizing mathematical problems. We employ a probing technique to extract representations from different layers of the model and apply these to classification tasks. Our findings reveal that models tend to efficiently classify simpler tasks, indicating that these concepts are learned in shallower layers. Conversely, more complex tasks may only be discernible at deeper layers, if at all. This paper explores the implications of these findings for our understanding of model learning processes and internal representations. Our implementation is available at \url{https://github.com/Luckfort/CD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google