The Tyranny of Possibilities in the Design of Task-Oriented LLM Systems: A Scoping Survey

要約

この範囲調査は、タスク指向 LLM システムの設計空間についての現在の理解に焦点を当て、利用可能な設計パラメータ間の定義と関係について詳しく説明します。
この論文は、最小限のタスク指向 LLM システムを定義し、多様な LLM システム構成 (単一の LLM、単一の LLM ベースのエージェント、および複数の LLM ベースのエージェント システムを含む) のパフォーマンスを考慮した思考実験を通じて、そのようなシステムの設計空間を探索することから始まります。
) 複雑なソフトウェア開発タスクについて検討し、その結果について仮説を立てます。
結果のパターンについて議論し、それらを 3 つの推測に定式化します。
これらの推測は部分的に誤った仮定に基づいている可能性がありますが、将来の研究の出発点となります。
次に、この論文では、LLM 拡張、プロンプト手法、および不確実性推定における研究を網羅および整理し、それらの重要性について議論する、厳選されたいくつかの設計パラメータを調査します。
この論文は、これらの分野の研究を評価する際に、計算効率とエネルギー効率に焦点が当てられていないことを指摘しています。
私たちの調査結果は、線形および非線形コンテキストの概念を開発するための基礎を提供します。この概念は、プロンプト手法のエージェント中心の投影を可能にするために定義および使用され、プロンプト手法をマルチエージェント システムとして見ることができるレンズを提供します。
この論文では、LLM プロンプト システムと LLM ベースのマルチエージェント システム間の研究の相互受粉に対する、このレンズの影響について説明しています。
また、研究における既存のプロンプト技術に基づく合成トレーニング データの生成にも使用されます。
全体として、この範囲調査では、今後の研究活動の指針となる 7 つの推測が示されています。

要約(オリジナル)

This scoping survey focuses on our current understanding of the design space for task-oriented LLM systems and elaborates on definitions and relationships among the available design parameters. The paper begins by defining a minimal task-oriented LLM system and exploring the design space of such systems through a thought experiment contemplating the performance of diverse LLM system configurations (involving single LLMs, single LLM-based agents, and multiple LLM-based agent systems) on a complex software development task and hypothesizes the results. We discuss a pattern in our results and formulate them into three conjectures. While these conjectures may be partly based on faulty assumptions, they provide a starting point for future research. The paper then surveys a select few design parameters: covering and organizing research in LLM augmentation, prompting techniques, and uncertainty estimation, and discussing their significance. The paper notes the lack of focus on computational and energy efficiency in evaluating research in these areas. Our survey findings provide a basis for developing the concept of linear and non-linear contexts, which we define and use to enable an agent-centric projection of prompting techniques providing a lens through which prompting techniques can be viewed as multi-agent systems. The paper discusses the implications of this lens, for the cross-pollination of research between LLM prompting and LLM-based multi-agent systems; and also, for the generation of synthetic training data based on existing prompting techniques in research. In all, the scoping survey presents seven conjectures that can help guide future research efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google