Symbolic Learning Enables Self-Evolving Agents

要約

AI コミュニティは、プロンプト手法とツール使用方法の両方を含む複雑な大規模言語モデル (LLM) パイプラインである「言語エージェント」を開発することにより、汎用人工知能 (AGI) への道を模索してきました。
言語エージェントは現実世界の多くのタスクに対して優れた能力を実証してきましたが、現在の言語エージェント研究の根本的な限界は、言語エージェントがモデル中心、またはエンジニアリング中心であることです。
つまり、言語エージェントのプロンプト、ツール、パイプラインの進歩には、データから自動的に学習するのではなく、人間の専門家による大幅な手動エンジニアリングの努力が必要です。
私たちは、モデル中心またはエンジニアリング中心からデータ中心への移行、つまり環境内で自律的に学習し進化する言語エージェントの能力が、言語エージェントが AGI を達成するための鍵であると信じています。
この研究では、言語エージェントがシンボリック オプティマイザーを使用してデータ中心の方法で自身を最適化できる体系的なフレームワークであるエージェント シンボリック学習を紹介します。
具体的には、エージェントを、学習可能な重みがプロンプト、ツール、およびそれらの積み重ね方法によって定義されるシンボリック ネットワークとみなします。
エージェントのシンボリック学習は、コネクショニスト学習の 2 つの基本アルゴリズム、バックプロパゲーションと勾配降下法を模倣することにより、言語エージェント内のシンボリック ネットワークを最適化するように設計されています。
エージェントのシンボリック学習は、数値の重みを扱う代わりに、重み、損失、勾配の自然言語シミュラクラを使用して機能します。
私たちは、標準的なベンチマークと複雑な現実世界のタスクの両方で概念実証実験を実施し、エージェントのシンボリック学習により、言語エージェントが実際に作成および展開された後に自身を更新し、その結果「自己進化するエージェント」が実現できることを示しました。

要約(オリジナル)

The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing ‘language agents’, which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That’s to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in ‘self-evolving agents’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google