Why LLMs Cannot Think and How to Fix It

要約

この論文は、現在の最先端の大規模な言語モデル（LLM）が、建築の制約のために機能空間内で決定を下したり、「考え」を開発することができないことを解明しています。
私たちは、その用語の伝統的な理解を含む「思考」の定義を確立し、LLMへの適用に適応します。
現代のLLMの建築設計と言語モデリングのトレーニング方法論は、本質的に本物の思考プロセスに従事することを妨げることを実証します。
私たちの主な焦点は、実験データから導き出された実用的な洞察ではなく、この理論的実現にあります。
最後に、機能空間内で思考プロセスを有効にし、これらのアーキテクチャの修正のより広い意味を議論するソリューションを提案します。

要約(オリジナル)

This paper elucidates that current state-of-the-art Large Language Models (LLMs) are fundamentally incapable of making decisions or developing ‘thoughts’ within the feature space due to their architectural constraints. We establish a definition of ‘thought’ that encompasses traditional understandings of that term and adapt it for application to LLMs. We demonstrate that the architectural design and language modeling training methodology of contemporary LLMs inherently preclude them from engaging in genuine thought processes. Our primary focus is on this theoretical realization rather than practical insights derived from experimental data. Finally, we propose solutions to enable thought processes within the feature space and discuss the broader implications of these architectural modifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google