Emergent Symbolic Mechanisms Support Abstract Reasoning in Large Language Models

要約

最近の多くの研究では、大規模な言語モデルにおける緊急の推論能力の証拠が発見されていますが、これらの能力の堅牢性と構造化された推論メカニズムに依存する程度に関して、議論が続いています。
これらの問題に光を当てるために、オープンソース言語モデル（LLAMA3-70B）での抽象的なルール誘導をサポートする内部メカニズムの包括的な研究を実行します。
一連の3つの計算を介して抽象的な推論を実装する緊急の象徴的なアーキテクチャを特定します。
初期のレイヤーでは、シンボルの抽象化ヘッドは、入力トークンをそれらのトークン間の関係に基づいて抽象変数に変換します。
中間層では、シンボリック誘導ヘッドは、これらの抽象変数に対してシーケンス誘導を実行します。
最後に、後のレイヤーでは、検索ヘッドは、予測された抽象変数に関連付けられた値を取得することにより、次のトークンを予測します。
これらの結果は、シンボリックネットワークアプローチとニューラルネットワークアプローチの間の長年の議論の解決を示しており、ニューラルネットワークの緊急推論は象徴的なメカニズムの出現に依存することを示唆しています。

要約(オリジナル)

Many recent studies have found evidence for emergent reasoning capabilities in large language models, but debate persists concerning the robustness of these capabilities, and the extent to which they depend on structured reasoning mechanisms. To shed light on these issues, we perform a comprehensive study of the internal mechanisms that support abstract rule induction in an open-source language model (Llama3-70B). We identify an emergent symbolic architecture that implements abstract reasoning via a series of three computations. In early layers, symbol abstraction heads convert input tokens to abstract variables based on the relations between those tokens. In intermediate layers, symbolic induction heads perform sequence induction over these abstract variables. Finally, in later layers, retrieval heads predict the next token by retrieving the value associated with the predicted abstract variable. These results point toward a resolution of the longstanding debate between symbolic and neural network approaches, suggesting that emergent reasoning in neural networks depends on the emergence of symbolic mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google