AFlow: Automating Agentic Workflow Generation

要約

大規模言語モデル (LLM) は、通常、詳細な指示と操作シーケンスに従うエージェント ワークフローを採​​用することにより、さまざまなドメインにわたる複雑なタスクを解決する際に顕著な可能性を示しています。
ただし、これらのワークフローの構築には多大な人間の労力が必要であり、スケーラビリティと汎用性が制限されます。
最近の研究では、これらのワークフローの生成と最適化を自動化することが試みられていますが、既存の方法は依然として初期の手動セットアップに依存しており、完全に自動化された効果的なワークフロー生成を達成するには至っていません。
この課題に対処するために、LLM を呼び出すノードがエッジによって接続される、コードで表現されたワークフローに対する検索問題としてワークフローの最適化を再定式化します。
AFlow は、モンテカルロ ツリー検索を使用してこの領域を効率的に探索し、コード変更、ツリー構造のエクスペリエンス、および実行フィードバックを通じてワークフローを反復的に改良する自動フレームワークです。
6 つのベンチマーク データセットにわたる経験的評価により、AFlow の有効性が実証され、最先端のベースラインと比較して平均 5.7% の改善が得られました。
さらに、AFlow を使用すると、小規模なモデルがドル単位の推論コストの 4.55% で、特定のタスクにおいて GPT-4o を上回るパフォーマンスを実現できます。
コードは https://github.com/geekan/MetaGPT で入手できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable potential in solving complex tasks across diverse domains, typically by employing agentic workflows that follow detailed instructions and operational sequences. However, constructing these workflows requires significant human effort, limiting scalability and generalizability. Recent research has sought to automate the generation and optimization of these workflows, but existing methods still rely on initial manual setup and fall short of achieving fully automated and effective workflow generation. To address this challenge, we reformulate workflow optimization as a search problem over code-represented workflows, where LLM-invoking nodes are connected by edges. We introduce AFlow, an automated framework that efficiently explores this space using Monte Carlo Tree Search, iteratively refining workflows through code modification, tree-structured experience, and execution feedback. Empirical evaluations across six benchmark datasets demonstrate AFlow’s efficacy, yielding a 5.7% average improvement over state-of-the-art baselines. Furthermore, AFlow enables smaller models to outperform GPT-4o on specific tasks at 4.55% of its inference cost in dollars. The code will be available at https://github.com/geekan/MetaGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google