A Prefrontal Cortex-inspired Architecture for Planning in Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなタスクで優れたパフォーマンスを示しますが、複数ステップの推論や目標指向の計画を必要とするタスクでは苦労することがよくあります。
これに対処するために、私たちは人間の脳からインスピレーションを得ています。脳では、前頭前野 (PFC) の特殊なモジュールの反復的な相互作用によって計画が達成されます。
これらのモジュールは、競合監視、状態予測、状態評価、タスク分解、タスク調整などの機能を実行します。
LLM はこれらの機能を単独で実行できる場合もありますが、目標に向かって自律的に調整するのは困難であることがわかりました。
したがって、複数の LLM ベース (GPT-4) モジュールを備えたブラック ボックス アーキテクチャを提案します。
このアーキテクチャは、より大きな問題を LLM への複数の短い自動呼び出しに分割する、特殊な PFC にインスピレーションを受けたモジュールの相互作用を通じて計画を改善します。
私たちは、グラフ トラバーサル、ハノイ塔、ロジスティクスという 3 つの困難な計画タスクで組み合わせたアーキテクチャを評価し、標準的な LLM 手法 (ゼロショット プロンプト、コンテキスト内学習、チェーン オブ メソッドなど) に比べて大幅な改善が得られることを発見しました。
-考え）。
これらの結果は、認知神経科学の知識を活用して LLM の計画を改善する利点を示しています。

要約(オリジナル)

Large language models (LLMs) demonstrate impressive performance on a wide variety of tasks, but they often struggle with tasks that require multi-step reasoning or goal-directed planning. To address this, we take inspiration from the human brain, in which planning is accomplished via the recurrent interaction of specialized modules in the prefrontal cortex (PFC). These modules perform functions such as conflict monitoring, state prediction, state evaluation, task decomposition, and task coordination. We find that LLMs are sometimes capable of carrying out these functions in isolation, but struggle to autonomously coordinate them in the service of a goal. Therefore, we propose a black box architecture with multiple LLM-based (GPT-4) modules. The architecture improves planning through the interaction of specialized PFC-inspired modules that break down a larger problem into multiple brief automated calls to the LLM. We evaluate the combined architecture on three challenging planning tasks — graph traversal, Tower of Hanoi, and logistics — finding that it yields significant improvements over standard LLM methods (e.g., zero-shot prompting, in-context learning, and chain-of-thought). These results demonstrate the benefit of utilizing knowledge from cognitive neuroscience to improve planning in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google