Extracting Paragraphs from LLM Token Activations

要約

生成大規模言語モデル (LLM) は自然言語処理タスクに優れていますが、その内部動作はトークンレベルの予測を超えてまだ解明されていません。
この研究では、これらのモデルが段落の開始時にその内容をどの程度決定するかを調査し、文脈上の理解を明らかにします。
単一トークンのアクティベーションでエンコードされた情報、特に ‘\textbackslash n\textbackslash n’ の二重改行トークンを調べることで、これらのアクティベーションにパッチを適用すると、次の段落のコンテキストに関する重要な情報が転送され、モデルの能力についてのさらなる洞察が得られることが実証されました。
事前に計画を立てるために。

要約(オリジナル)

Generative large language models (LLMs) excel in natural language processing tasks, yet their inner workings remain underexplored beyond token-level predictions. This study investigates the degree to which these models decide the content of a paragraph at its onset, shedding light on their contextual understanding. By examining the information encoded in single-token activations, specifically the ‘\textbackslash n\textbackslash n’ double newline token, we demonstrate that patching these activations can transfer significant information about the context of the following paragraph, providing further insights into the model’s capacity to plan ahead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google