Attention Heads of Large Language Models: A Survey

要約

ChatGPT の出現以来、大規模言語モデル (LLM) はさまざまなタスクに優れていますが、依然としてブラックボックス システムのままです。
LLM の推論ボトルネックは内部アーキテクチャに深く関係しているため、LLM の推論ボトルネックを理解することは重要な課題となっています。
これらの中で、アテンション ヘッドは、LLM の根本的な仕組みを調査するための焦点として浮上しています。
この調査では、アテンションヘッドの役割とメカニズムを体系的に調査することで、LLM の内部推論プロセスを解明することを目的としています。
まず、人間の思考プロセスに触発された新しい 4 段階のフレームワーク (知識想起、文脈内識別、潜在推論、表現準備) を紹介します。
このフレームワークを使用して、既存の研究を包括的にレビューし、特定のアテンションヘッドの機能を特定して分類します。
さらに、これらの特殊なヘッドを発見するために使用された実験方法を分析し、モデリング不要の方法とモデリングが必要な方法の 2 つのカテゴリに分類します。
関連する評価方法とベンチマークをさらにまとめます。
最後に、現在の研究の限界について議論し、将来の可能性のある方向性をいくつか提案します。

要約(オリジナル)

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain as black-box systems. Understanding the reasoning bottlenecks of LLMs has become a critical challenge, as these limitations are deeply tied to their internal architecture. Among these, attention heads have emerged as a focal point for investigating the underlying mechanics of LLMs. In this survey, we aim to demystify the internal reasoning processes of LLMs by systematically exploring the roles and mechanisms of attention heads. We first introduce a novel four-stage framework inspired by the human thought process: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we comprehensively review existing research to identify and categorize the functions of specific attention heads. Additionally, we analyze the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free and Modeling-Required methods. We further summarize relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google