Attention Heads of Large Language Models: A Survey

要約

ChatGPT の出現以来、大規模言語モデル (LLM) はさまざまなタスクで優れていますが、依然として大部分はブラックボックス システムのままです。
その結果、その開発はデータ駆動型のアプローチに大きく依存しており、内部アーキテクチャと推論経路の変更によるパフォーマンスの向上が制限されています。
その結果、多くの研究者は、推論のボトルネックの本質を特定することを目的として、LLM の潜在的な内部メカニズムを調査し始めており、ほとんどの研究はアテンションヘッドに焦点を当てています。
私たちの調査は、アテンションヘッドの解釈可能性と根底にあるメカニズムに焦点を当て、LLM の内部推論プロセスに光を当てることを目的としています。
まず、人間の思考プロセスを 4 段階のフレームワークに抽出します。知識の想起、文脈内の識別、潜在的な推論、表現の準備です。
このフレームワークを使用して、既存の研究を体系的にレビューして、特定のアテンションヘッドの機能を特定して分類します。
さらに、これらの特殊なヘッドを発見するために使用された実験方法を要約し、モデリング不要の方法とモデリングが必要な方法の 2 つのカテゴリに分類します。
また、関連する評価方法とベンチマークについても概説します。
最後に、現在の研究の限界について議論し、将来の可能性のある方向性をいくつか提案します。
私たちの参考リストは \url{https://github.com/IAAR-Shanghai/Awesome-Attendance-Heads} でオープンソース化されています。

要約(オリジナル)

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at \url{https://github.com/IAAR-Shanghai/Awesome-Attention-Heads}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google