Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

要約

人工知能 (AI) エージェントを作成するための重要な方法は、強化学習 (RL) です。
ただし、認識を行動に直接マッピングするスタンドアロンの RL ポリシーを構築すると、深刻な問題に直面します。その主な問題は、複数のタスクにわたる汎用性の欠如と、大量のトレーニング データの必要性です。
主な原因は、政策を立案する際に、事前の情報を認識と行動のサイクルに効果的に組み込むことができないことです。
大規模言語モデル (LLM) は、クロスドメインの知識を AI エージェントに組み込む基本的な方法として登場しましたが、特定の意思決定問題に対する重要な学習と適応が欠けています。
この論文では、構造化推論を AI エージェントのポリシーに統合して学習するための一般的なフレームワーク モデルを示します。
私たちの方法論は、人間の脳に見られるモジュール性によって動機付けられています。
このフレームワークは、内部関数と外部関数の構築を利用して、推論構造の以前の理解を追加します。
また、認知プロセスのモジュール構造と一致して、すべてのモジュールまたは機能内のモデルを学習する適応能力も提供します。
フレームワークについて詳しく説明し、他の AI パイプラインや既存のフレームワークと比較します。
この論文では、私たちの方法の有効性を示す実験を取り上げ、実際の応用を検討します。
私たちの結果は、組織化された推論と事前知識が埋め込まれている場合、AI エージェントのパフォーマンスと適応性がはるかに優れていることを示しています。
これにより、より復元力の高い一般的な AI エージェント システムへの扉が開かれます。

要約(オリジナル)

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents’ policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google