Position: Scaling LLM Agents Requires Asymptotic Analysis with LLM Primitives

要約

困難な問題をサブ問題に分解すると、多くの場合、それらをより簡単で効率的に解決できるようになります。
大規模な言語モデル（LLM）が能力の増加のための重要な信頼性のしきい値を超えているため、システムをLLMベースのエージェントのセットに分解するための努力が増えています。
ただし、この分解（自動化された場合でも）は、たとえば、人間が人間チームのメンバーに役割を割り当てる方法に基づいて、多くの場合直感的です。
これらの役割分解は最適にどれくらい近いですか？
このポジションペーパーでは、LLMプリミティブを使用した漸近分析は、このような分解されたシステムの効率について推論するために必要であり、そのような分析からの洞察がそれらをスケーリングする機会のロックを解除すると主張しています。
LLMフォワードパスを計算コストの原子単位として扱うことにより、特定のLLMの（しばしば不透明な）内側の仕組みを、LLMのセットがどのように調整されて難しい問題を解決するかという固有の効率から分離できます。
言い換えれば、LLMの展開を制限に拡大したい場合、擬人化LLMSの代わりに、LLMプリミティブを使用した漸近分析を使用して、LLMエージェントへの大きな問題のより強力な分解を推論し、開発する必要があります。

要約(オリジナル)

Decomposing hard problems into subproblems often makes them easier and more efficient to solve. With large language models (LLMs) crossing critical reliability thresholds for a growing slate of capabilities, there is an increasing effort to decompose systems into sets of LLM-based agents, each of whom can be delegated sub-tasks. However, this decomposition (even when automated) is often intuitive, e.g., based on how a human might assign roles to members of a human team. How close are these role decompositions to optimal? This position paper argues that asymptotic analysis with LLM primitives is needed to reason about the efficiency of such decomposed systems, and that insights from such analysis will unlock opportunities for scaling them. By treating the LLM forward pass as the atomic unit of computational cost, one can separate out the (often opaque) inner workings of a particular LLM from the inherent efficiency of how a set of LLMs are orchestrated to solve hard problems. In other words, if we want to scale the deployment of LLMs to the limit, instead of anthropomorphizing LLMs, asymptotic analysis with LLM primitives should be used to reason about and develop more powerful decompositions of large problems into LLM agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google