GNNs as Predictors of Agentic Workflow Performances

要約

大規模な言語モデル（LLMS）によって呼び出されたエージェントワークフローは、複雑なタスクの処理において驚くべき成功を収めています。
ただし、このようなワークフローを最適化することは、LLMの広範な呼び出しにより、実際のアプリケーションでは費用がかかり、非効率的です。
このギャップを埋めるために、このポジションペーパーは、エージェントワークフローを計算グラフとして定式化し、グラフニューラルネットワーク（GNNS）をエージェントワークフローパフォーマンスの効率的な予測因子として提唱し、評価のための繰り返しのLLM呼び出しを回避します。
この位置を経験的に根付かせるために、Agent Workflowのパフォーマンスを予測するためにGNNをベンチマークするための統一されたプラットフォームであるFlora-Benchを構築します。
広範な実験により、次の結論に達します。GNNはシンプルでありながら効果的な予測因子です。
この結論は、GNNの新しいアプリケーションと、エージェントワークフローの最適化を自動化するための新しい方向性をサポートしています。
すべてのコード、モデル、およびデータは、https：//github.com/youngsoul0731/flora-benchで入手できます。

要約(オリジナル)

Agentic workflows invoked by Large Language Models (LLMs) have achieved remarkable success in handling complex tasks. However, optimizing such workflows is costly and inefficient in real-world applications due to extensive invocations of LLMs. To fill this gap, this position paper formulates agentic workflows as computational graphs and advocates Graph Neural Networks (GNNs) as efficient predictors of agentic workflow performances, avoiding repeated LLM invocations for evaluation. To empirically ground this position, we construct FLORA-Bench, a unified platform for benchmarking GNNs for predicting agentic workflow performances. With extensive experiments, we arrive at the following conclusion: GNNs are simple yet effective predictors. This conclusion supports new applications of GNNs and a novel direction towards automating agentic workflow optimization. All codes, models, and data are available at https://github.com/youngsoul0731/Flora-Bench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google