Knowledge Circuits in Pretrained Transformers

要約

現代の大規模言語モデルの卓越した能力は、そのパラメータにエンコードされた膨大な知識の蓄積に根ざしており、これによって世界を認識し推論を行うことができる。これらのモデルがどのように知識を蓄えているのか、その内部構造は長い間、研究者の間で強い関心と研究の対象となってきた。これまでのところ、ほとんどの研究は、多層パーセプトロンやアテンション・ヘッドなど、これらのモデル内の孤立した構成要素に集中している。本稿では、言語モデルの計算グラフを掘り下げ、特定の知識を表現するのに役立つ知識回路を明らかにする。GPT2とTinyLLAMAを用いて行った実験により、特定の情報ヘッド、関係ヘッド、多層パーセプトロンがどのように協調してモデル内の知識をエンコードするかを観察することができた。さらに、現在の知識編集技術がこれらの知識回路に与える影響を評価し、これらの編集手法の機能と制約についてより深い洞察を提供する。最後に、幻覚や文脈内学習などの言語モデルの振る舞いを分析・解釈するために知識回路を利用する。我々は、知識回路がトランスフォーマーの理解を進め、知識編集の設計を改善する指針になる可能性を持っていると信じている。コードとデータはhttps://github.com/zjunlp/KnowledgeCircuits。

要約(オリジナル)

The remarkable capabilities of modern large language models are rooted in their vast repositories of knowledge encoded within their parameters, enabling them to perceive the world and engage in reasoning. The inner workings of how these models store knowledge have long been a subject of intense interest and investigation among researchers. To date, most studies have concentrated on isolated components within these models, such as the Multilayer Perceptrons and attention head. In this paper, we delve into the computation graph of the language model to uncover the knowledge circuits that are instrumental in articulating specific knowledge. The experiments, conducted with GPT2 and TinyLLAMA, have allowed us to observe how certain information heads, relation heads, and Multilayer Perceptrons collaboratively encode knowledge within the model. Moreover, we evaluate the impact of current knowledge editing techniques on these knowledge circuits, providing deeper insights into the functioning and constraints of these editing methodologies. Finally, we utilize knowledge circuits to analyze and interpret language model behaviors such as hallucinations and in-context learning. We believe the knowledge circuits hold potential for advancing our understanding of Transformers and guiding the improved design of knowledge editing. Code and data are available in https://github.com/zjunlp/KnowledgeCircuits.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL