Conceptual structure coheres in human cognition but not in large language models

要約

言語のニューラル ネットワーク モデルは、心と脳における概念表現に関する仮説を立てるためのツールとして長い間使用されてきました。
長年にわたり、このような用途には、単語のベクトル空間表現を抽出し、それらの間の距離を使用して、さまざまな意味論的タスクにおける人間の行動を予測または理解することが含まれていました。
しかし、現代の大規模言語モデル (LLM) では、人間の参加者に対して一般的に使用される実験方法とほぼ同じ実験方法を使用して、概念的表現の潜在的な構造を調べることが可能です。
現在の研究では、認知心理学から借用した 3 つの一般的な手法を利用して、人間と一連の LLM の概念の構造を推定および比較しています。
人間では、概念構造が文化、言語、推定方法の違いに対して堅牢であることを示します。
LLM の動作から推定された構造は、個別には人間の動作から推定された構造とかなり一致していますが、応答を生成するために使用される特定のタスクに応じて大きく異なります。タスク間では、まったく同じモデルからの概念的構造の推定は、相互に一貫性がありません。
人間の構造推定。
これらの結果は、現代の LLM と人間の認知との重要な違いを浮き彫りにし、現代の機械語のいくつかの基本的な制限を理解することに影響を与えます。

要約(オリジナル)

Neural network models of language have long been used as a tool for developing hypotheses about conceptual representation in the mind and brain. For many years, such use involved extracting vector-space representations of words and using distances among these to predict or understand human behavior in various semantic tasks. Contemporary large language models (LLMs), however, make it possible to interrogate the latent structure of conceptual representations using experimental methods nearly identical to those commonly used with human participants. The current work utilizes three common techniques borrowed from cognitive psychology to estimate and compare the structure of concepts in humans and a suite of LLMs. In humans, we show that conceptual structure is robust to differences in culture, language, and method of estimation. Structures estimated from LLM behavior, while individually fairly consistent with those estimated from human behavior, vary much more depending upon the particular task used to generate responses–across tasks, estimates of conceptual structure from the very same model cohere less with one another than do human structure estimates. These results highlight an important difference between contemporary LLMs and human cognition, with implications for understanding some fundamental limitations of contemporary machine language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google