Agentic Neural Networks: Self-Evolving Multi-Agent Systems via Textual Backpropagation

要約

複数の大規模な言語モデル（LLMS）を活用すると、複雑で高次元のタスクに対処するのに効果的であることが証明されていますが、現在のアプローチは、静的で手動で設計されたマルチエージェント構成に依存することがよくあります。
これらの制約を克服するために、マルチエージェントコラボレーションを層状ニューラルネットワークアーキテクチャとして概念化するフレームワークであるエージェントニューラルネットワーク（ANN）を提示します。
この設計では、各エージェントはノードとして動作し、各レイヤーは特定のサブタスクに焦点を当てた協調的な「チーム」を形成します。
エージェントニューラルネットワークは、2フェーズの最適化戦略に従います。（1）ニューラルネットワークフォワードパスからのフォワードフェーズドラウングインスピレーション、タスクはサブタスクに動的に分解され、適切な集約法を持つ協同エージェントチームがレイヤーごとに層ごとに構築されます。
（2）後方位相監督のバックプロパゲーションで、イテラティブなフィードバックを通じてグローバルおよびローカルの両方のコラボレーションを改良し、エージェントが役割、プロンプト、および調整を自己進化させることができます。
このニューロシンボリックアプローチにより、ANNはトレーニング後に新規または専門のエージェントチームを作成し、精度と適応性の顕著な利益を提供します。
4つのベンチマークデータセットで、Annは同じ構成の下で主要なマルチエージェントベースラインを上回り、一貫したパフォーマンスの改善を示しています。
私たちの調査結果は、ANNがLLMの共同機能とニューラルネットワークの原則の効率と柔軟性を組み合わせたマルチエージェントシステムのスケーラブルなデータ駆動型フレームワークを提供することを示しています。
フレームワーク全体をオープンソースする予定です。

要約(オリジナル)

Leveraging multiple Large Language Models(LLMs) has proven effective for addressing complex, high-dimensional tasks, but current approaches often rely on static, manually engineered multi-agent configurations. To overcome these constraints, we present the Agentic Neural Network(ANN), a framework that conceptualizes multi-agent collaboration as a layered neural network architecture. In this design, each agent operates as a node, and each layer forms a cooperative ‘team’ focused on a specific subtask. Agentic Neural Network follows a two-phase optimization strategy: (1) Forward Phase-Drawing inspiration from neural network forward passes, tasks are dynamically decomposed into subtasks, and cooperative agent teams with suitable aggregation methods are constructed layer by layer. (2) Backward Phase-Mirroring backpropagation, we refine both global and local collaboration through iterative feedback, allowing agents to self-evolve their roles, prompts, and coordination. This neuro-symbolic approach enables ANN to create new or specialized agent teams post-training, delivering notable gains in accuracy and adaptability. Across four benchmark datasets, ANN surpasses leading multi-agent baselines under the same configurations, showing consistent performance improvements. Our findings indicate that ANN provides a scalable, data-driven framework for multi-agent systems, combining the collaborative capabilities of LLMs with the efficiency and flexibility of neural network principles. We plan to open-source the entire framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google