Artificial Neuropsychology: Are Large Language Models Developing Executive Functions?

要約

人工知能 (AI) は急速に進歩しており、言語処理、視覚認識、意思決定など、幅広い認知タスクを実行できる能力が実証されています。
この進歩の一部は、GPT (Generative Pre-Trained Transformers) ファミリのような LLM (Large Language Model) によるものです。
これらのモデルは、知的であると認識できる動作を示すことができます。
神経心理学の著者のほとんどは、知的行動はいくつかの包括的なスキル、つまり前頭葉の神経ネットワークの正しい機能に依存する実行機能 (EF) に依存すると考えており、それらを評価する一連のテストを開発しました。
この研究では、LLM が学習の一環として人間と同様の実行機能を開発しているかどうかという問題を提起し、人気のあるハノイの塔の方法を使用して GPT の計画機能と作業記憶を評価します。
さらに、LLM トレーニング データ (dataleakeage) で解が見つかることを避けるために、古典的な手法の新しいバリアントを導入します。
予備的な結果では、LLM がハノイの塔関連タスクで最適に近い解決策を生成し、タスクの制約を遵守し、迅速な計画能力と効率的な作業メモリの使用を示すことが示されており、実行機能の潜在的な発展を示しています。
ただし、タスクが不明でトレーニング データの一部ではない場合、これらの能力は非常に限られており、十分に訓練された人間よりも劣ります。

要約(オリジナル)

Artificial Intelligence (AI) has been rapidly advancing and has demonstrated its ability to perform a wide range of cognitive tasks, including language processing, visual recognition, and decision-making. Part of this progress is due to LLMs (Large Language Models) like those of the GPT (Generative Pre-Trained Transformers) family. These models are capable of exhibiting behavior that can be perceived as intelligent. Most authors in Neuropsychology consider intelligent behavior to depend on a number of overarching skills, or Executive Functions (EFs), which rely on the correct functioning of neural networks in the frontal lobes, and have developed a series of tests to evaluate them. In this work, we raise the question of whether LLMs are developing executive functions similar to those of humans as part of their learning, and we evaluate the planning function and working memory of GPT using the popular Towers of Hanoi method. Additionally, we introduce a new variant of the classical method in order to avoid that the solutions are found in the LLM training data (dataleakeage). Preliminary results show that LLMs generates near-optimal solutions in Towers of Hanoi related tasks, adheres to task constraints, and exhibits rapid planning capabilities and efficient working memory usage, indicating a potential development of executive functions. However, these abilities are quite limited and worse than well-trained humans when the tasks are not known and are not part of the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google