Language Agents as Optimizable Graphs

要約

大規模言語モデル (LLM) に基づいて問題解決機能を改善するために、人間が設計したさまざまなプロンプト エンジニアリング手法が提案されており、多くの異質なコード ベースが生成されています。
LLM ベースのエージェントを計算グラフとして記述することで、これらのアプローチを統合します。
ノードはマルチモーダル データを処理したり LLM をクエリしたりする機能を実装し、エッジは操作間の情報フローを記述します。
グラフは、エージェント間のコラボレーションの階層を表す、より大きな複合グラフに再帰的に結合できます (エッジが異なるエージェントの操作を接続する)。
当社の新しい自動グラフ オプティマイザーは、(1) ノード レベルの LLM プロンプトを改良し (ノードの最適化)、(2) グラフの接続性を変更することでエージェント オーケストレーションを改善します (エッジの最適化)。
実験により、私たちのフレームワークを使用して、さまざまな LLM エージェントを効率的に開発、統合、および自動的に改善できることが実証されました。
コードは https://github.com/metauto-ai/gptswarm にあります。

要約(オリジナル)

Various human-designed prompt engineering techniques have been proposed to improve problem solvers based on Large Language Models (LLMs), yielding many disparate code bases. We unify these approaches by describing LLM-based agents as computational graphs. The nodes implement functions to process multimodal data or query LLMs, and the edges describe the information flow between operations. Graphs can be recursively combined into larger composite graphs representing hierarchies of inter-agent collaboration (where edges connect operations of different agents). Our novel automatic graph optimizers (1) refine node-level LLM prompts (node optimization) and (2) improve agent orchestration by changing graph connectivity (edge optimization). Experiments demonstrate that our framework can be used to efficiently develop, integrate, and automatically improve various LLM agents. The code can be found at https://github.com/metauto-ai/gptswarm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google