Waking Up an AI: A Quantitative Framework for Prompt-Induced Phase Transition in Large Language Models

要約

直感的な人間の思考の根底にあるものは何ですか？
この質問に対する1つのアプローチは、人間と大規模な言語モデル（LLM）の認知的ダイナミクスを比較することです。
ただし、このような比較には、制御された条件下でAI認知行動を定量的に分析する方法が必要です。
逸話的な観察結果は、特定のプロンプトがLLMの動作を劇的に変化させる可能性があることを示唆していますが、これらの観察は主に定性的なままです。
ここでは、この現象を調査するための2部構成のフレームワークを提案します。LLM応答性の急速なシフトをトリガーする遷移誘導プロンプト（TIP）と、個別のLLMを使用してこの変化を評価する遷移定量化プロンプト（TQP）。
制御された実験を通じて、LLMSが2つの意味的に遠い概念（たとえば、数学的な非周期性と伝統的な工芸品など）を埋め込むプロンプトにどのように反応するかを調べました。
一方、そのような概念が有意義にブレンドされている場合、人間はエンゲージメントの高まりを経験する傾向があります。これは、概念的な融合電流LLMの形式である新しい概念を生成し、意味的に融合していないプロンプトとの間の応答性に有意な違いを示しませんでした。
これは、LLMが人間の直観に見られる概念的統合プロセスをまだ再現していないことを示唆しています。
私たちの方法は、認知反応性のきめの細かい再現性のある測定を可能にし、人工的な心と人間の心で直観と概念の飛躍がどのように出現するかの重要な違いを明らかにするのに役立つ可能性があります。

要約(オリジナル)

What underlies intuitive human thinking? One approach to this question is to compare the cognitive dynamics of humans and large language models (LLMs). However, such a comparison requires a method to quantitatively analyze AI cognitive behavior under controlled conditions. While anecdotal observations suggest that certain prompts can dramatically change LLM behavior, these observations have remained largely qualitative. Here, we propose a two-part framework to investigate this phenomenon: a Transition-Inducing Prompt (TIP) that triggers a rapid shift in LLM responsiveness, and a Transition Quantifying Prompt (TQP) that evaluates this change using a separate LLM. Through controlled experiments, we examined how LLMs react to prompts embedding two semantically distant concepts (e.g., mathematical aperiodicity and traditional crafts)-either fused together or presented separately-by changing their linguistic quality and affective tone. Whereas humans tend to experience heightened engagement when such concepts are meaningfully blended producing a novel concept-a form of conceptual fusion-current LLMs showed no significant difference in responsiveness between semantically fused and non-fused prompts. This suggests that LLMs may not yet replicate the conceptual integration processes seen in human intuition. Our method enables fine-grained, reproducible measurement of cognitive responsiveness, and may help illuminate key differences in how intuition and conceptual leaps emerge in artificial versus human minds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google