Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia

要約

大規模言語モデル (LLM) の外部動作と内部メカニズムに関する研究は、物理世界の複雑なタスクに対処する上で有望であることが示されています。
研究によると、GPT-4 のような強力な LLM は、計画、推論、熟考などの人間のような認知能力を示し始めています。
この論文では、LLM の認知行動とメカニズムを調査するために人間の心理学実験を活用する、LLM 心理学と呼ばれる研究ラインと方法論を紹介します。
私たちは、心理学からタイポ血糖現象を移行して、LLM の「心」を探ります。
スクランブルされたテキストを理解するためにコンテキストと単語のパターンに依存する人間の脳とは異なり、LLM は別個のエンコードおよびデコード プロセスを使用します。
文字、単語、文レベルでの血糖値の実験を通じて、次のことを観察しました。(I) LLM は、タスクの精度が低く、トークン/時間の消費量が多いなど、マクロスケールで人間に似た行動を示します。
(II) LLM はスクランブル入力に対してさまざまな堅牢性を示すため、新しいデータセットを必要としないモデル評価のベンチマークとして暴発血糖症が生じます。
(III) タスクの種類が異なれば影響も異なり、複雑な論理タスク (数学など) はスクランブル形式の方が難しくなります。
(IV) 各 LLM はタスク全体にわたって独自で一貫した「認知パターン」を持ち、その心理プロセスにおける一般的なメカニズムを明らかにします。
これらの現象を説明するために隠れ層の詳細な分析を提供し、LLM 心理学の将来の研究とより深い解釈への道を開きます。

要約(オリジナル)

Research into the external behaviors and internal mechanisms of large language models (LLMs) has shown promise in addressing complex tasks in the physical world. Studies suggest that powerful LLMs, like GPT-4, are beginning to exhibit human-like cognitive abilities, including planning, reasoning, and reflection. In this paper, we introduce a research line and methodology called LLM Psychology, leveraging human psychology experiments to investigate the cognitive behaviors and mechanisms of LLMs. We migrate the Typoglycemia phenomenon from psychology to explore the ‘mind’ of LLMs. Unlike human brains, which rely on context and word patterns to comprehend scrambled text, LLMs use distinct encoding and decoding processes. Through Typoglycemia experiments at the character, word, and sentence levels, we observe: (I) LLMs demonstrate human-like behaviors on a macro scale, such as lower task accuracy and higher token/time consumption; (II) LLMs exhibit varying robustness to scrambled input, making Typoglycemia a benchmark for model evaluation without new datasets; (III) Different task types have varying impacts, with complex logical tasks (e.g., math) being more challenging in scrambled form; (IV) Each LLM has a unique and consistent ‘cognitive pattern’ across tasks, revealing general mechanisms in its psychology process. We provide an in-depth analysis of hidden layers to explain these phenomena, paving the way for future research in LLM Psychology and deeper interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google