On the Design and Analysis of LLM-Based Algorithms

要約

私たちは、LLM ベースのアルゴリズム、つまり、大規模言語モデル (LLM) の 1 つまたは複数の呼び出しをサブルーチンとして含み、LLM の機能に大きく依存するアルゴリズムの設計と分析に関する正式な調査を開始します。
LLM ベースのアルゴリズムは、迅速なエンジニアリングを伴う基本的な LLM 呼び出しから、複雑な LLM を利用したエージェント システムや複合 AI システムに至るまで、目覚ましい経験的成功を収めていますが、その設計と最適化は主にヒューリスティックと試行錯誤に依存していました。
これは主に、これらのアルゴリズムに関する正式な分析研究が不足していることが原因です。
このギャップを埋めるために、LLM ベースのアルゴリズムの計算グラフ表現、タスク分解の設計原則、およびいくつかの重要な抽象化を特定することから始めます。これにより、LLM ベースのアルゴリズムの精度と効率性に関する正式な分析が容易になります。
LLM のブラックボックスの性質。
一連のケーススタディにおける広範な分析的および実証的調査を通じて、提案されたフレームワークが、並列、階層的、再帰的タスク分解などの LLM ベースのアルゴリズムの幅広いシナリオと多様なパターンに広く適用できることを実証します。
私たちが提案したフレームワークは、興味深い経験的現象の背後にある理由を明らかにし、ハイパーパラメータの選択を導き、アルゴリズムの経験的パフォーマンスを予測し、新しいアルゴリズム設計をインスピレーションすることにより、LLM ベースのアルゴリズムを進歩させる可能性を秘めています。
LLM ベースのアルゴリズムのさらなる研究を促進するために、https://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithm でソース コードをリリースします。

要約(オリジナル)

We initiate a formal investigation into the design and analysis of LLM-based algorithms, i.e. algorithms that contain one or multiple calls of large language models (LLMs) as sub-routines and critically rely on the capabilities of LLMs. While LLM-based algorithms, ranging from basic LLM calls with prompt engineering to complicated LLM-powered agent systems and compound AI systems, have achieved remarkable empirical success, the design and optimization of them have mostly relied on heuristics and trial-and-errors, which is largely due to a lack of formal and analytical study for these algorithms. To fill this gap, we start by identifying the computational-graph representation of LLM-based algorithms, the design principle of task decomposition, and some key abstractions, which then facilitate our formal analysis for the accuracy and efficiency of LLM-based algorithms, despite the black-box nature of LLMs. Through extensive analytical and empirical investigation in a series of case studies, we demonstrate that the proposed framework is broadly applicable to a wide range of scenarios and diverse patterns of LLM-based algorithms, such as parallel, hierarchical and recursive task decomposition. Our proposed framework holds promise for advancing LLM-based algorithms, by revealing the reasons behind curious empirical phenomena, guiding the choices of hyperparameters, predicting the empirical performance of algorithms, and inspiring new algorithm design. To promote further study of LLM-based algorithms, we release our source code at https://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google