Abacus: A Cost-Based Optimizer for Semantic Operator Systems

要約

LLMSは、非構造化されていないドキュメントの大規模なコレクションを介して、エキサイティングな新しいクラスのデータ処理アプリケーションを有効にします。
いくつかの新しいプログラミングフレームワークにより、開発者はセマンティックオペレーターからそれらを作成することにより、これらのアプリケーションを構築できるようになりました。これは、自然言語仕様を使用したAI搭載のデータ変換の宣言セットです。
これらには、情報抽出、要約などのドキュメント処理タスクに使用されるLLM駆動のマップ、フィルター、結合などが含まれます。
セマンティックオペレーターのシステムはベンチマークで強力なパフォーマンスを達成していますが、最適化するのが難しい場合があります。
この設定のオプティマイザーは、システムをグローバルに最適化する方法で各セマンティックオペレーターを物理的に実装する方法を決定する必要があります。
既存のオプティマイザーは、適用できる最適化の数が限られており、ほとんど（すべてではないにしても）は、他の次元の制約の対象となるシステムの品質、コスト、またはレイテンシを最適化することはできません。
この論文では、（おそらく制約されている）最適化目標を考慮して、セマンティックオペレーターシステムの最良の実装を検索する、拡張可能なコストベースのオプティマイザーであるAbacusを紹介します。
Abacusは、最小限の検証例を活用することにより、オペレーターのパフォーマンスに関する以前の信念を活用することにより、オペレーターのパフォーマンスを推定します。
生物医学および法的ドメイン（BioDex; CUAD）およびマルチモーダル質問応答（MMQA）のドキュメント処理ワークロードでAbacusを評価します。
Abacusによって最適化されたシステムは、次の最高のシステムよりも18.7％-39.2％の品質と最大23.6倍の低コストと4.2倍低いレイテンシを達成することを実証します。

要約(オリジナル)

LLMs enable an exciting new class of data processing applications over large collections of unstructured documents. Several new programming frameworks have enabled developers to build these applications by composing them out of semantic operators: a declarative set of AI-powered data transformations with natural language specifications. These include LLM-powered maps, filters, joins, etc. used for document processing tasks such as information extraction, summarization, and more. While systems of semantic operators have achieved strong performance on benchmarks, they can be difficult to optimize. An optimizer for this setting must determine how to physically implement each semantic operator in a way that optimizes the system globally. Existing optimizers are limited in the number of optimizations they can apply, and most (if not all) cannot optimize system quality, cost, or latency subject to constraint(s) on the other dimensions. In this paper we present Abacus, an extensible, cost-based optimizer which searches for the best implementation of a semantic operator system given a (possibly constrained) optimization objective. Abacus estimates operator performance by leveraging a minimal set of validation examples and, if available, prior beliefs about operator performance. We evaluate Abacus on document processing workloads in the biomedical and legal domains (BioDEX; CUAD) and multi-modal question answering (MMQA). We demonstrate that systems optimized by Abacus achieve 18.7%-39.2% better quality and up to 23.6x lower cost and 4.2x lower latency than the next best system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google