Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention

要約

人間の認知は、感情的、文脈的、または連想的な手がかりによって引き起こされる、トピック間の突然の自発的なシフトによって区切られている。これとは対照的に、自己注意に基づくモデルは、次のトークンを予測するために、入力の構造化されたパターンに依存しており、自発性に欠ける。この区別に動機づけられ、我々は自己注意アーキテクチャにおける自発的なトピックの変化を特徴付け、その類似点と人間の自発的思考との相違点の両方を明らかにする。まず、トピックをトークン優先度グラフ（Token Priority Graphs：TPG）の集合として定義することで、適切な条件を持つ単純化された単層自己注意モデルの下で理論的な結果を確立する。具体的には、(1)このモデルは入力トピックに関連するトークンの優先順位を維持すること、(2)自発的なトピック変更は、優先順位の低いトークンが入力トピックの優先順位の高いトークンを全て上回る場合にのみ起こり得ること、(3)人間の認知とは異なり、文脈の長さが長いほど、あるいは入力トピックが曖昧であるほど、自発的変更の可能性が低下することを示す。第二に、これらのダイナミクスが最新のLLMでも持続することを実証的に検証し、自発的なトピック変更の文脈における人間の認知とAIの動作の根本的な相違を強調する。我々の知る限り、人間の思考に近い形でこれらの問題を探求した先行研究はない。

要約(オリジナル)

Human cognition is punctuated by abrupt, spontaneous shifts between topics-driven by emotional, contextual, or associative cues-a phenomenon known as spontaneous thought in neuroscience. In contrast, self-attention based models depend on structured patterns over their inputs to predict each next token, lacking spontaneity. Motivated by this distinction, we characterize spontaneous topic changes in self-attention architectures, revealing both their similarities and their divergences from spontaneous human thought. First, we establish theoretical results under a simplified, single-layer self-attention model with suitable conditions by defining the topic as a set of Token Priority Graphs (TPGs). Specifically, we demonstrate that (1) the model maintains the priority order of tokens related to the input topic, (2) a spontaneous topic change can occur only if lower-priority tokens outnumber all higher-priority tokens of the input topic, and (3) unlike human cognition, the longer context length or the more ambiguous input topic reduces the likelihood of spontaneous change. Second, we empirically validate that these dynamics persist in modern, state-of-the-art LLMs, underscoring a fundamental disparity between human cognition and AI behaviour in the context of spontaneous topic changes. To the best of our knowledge, no prior work has explored these questions with a focus as closely aligned to human thought.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL