要約
言語モデル (LM) の意味論的機能には、膨大な知識コーパスに対する豊富な分析と推論を可能にする可能性があります。
残念ながら、既存のシステムには、大規模なコーパス全体にわたって大量の意味論的なクエリを実行するための高レベルの抽象化が欠けています。
セマンティック演算子を導入します。これは、一括セマンティック クエリ (自然言語基準を使用したレコードのフィルタリング、並べ替え、結合または集約など) に対する構成可能な AI ベースの操作でリレーショナル モデルを拡張する宣言型プログラミング インターフェイスです。
各演算子は複数の方法で実装および最適化でき、関係演算子と同様に実行計画のための豊富なスペースが開かれます。
私たちは、DataFrame API を備えたオープンソース クエリ エンジンである LOTUS に演算子を実装しています。
さらに、統計的精度を保証しながら、セマンティック フィルタリング、クラスタリング、結合演算子を最大 $400\times$ 高速化するために、セマンティック演算子の宣言的な性質を利用するいくつかの新しい最適化を開発しました。
ファクトチェック、極端なマルチラベル分類、検索などの実際の AI アプリケーションに対する LOTUS の有効性を実証します。
セマンティック オペレーター モデルが表現力豊かで、数回のオペレーター呼び出しで最先端の AI パイプラインをキャプチャし、最大 $180\%$ 高い品質を達成する新しいパイプラインを簡単に表現できることを示します。
全体として、LOTUS クエリは各タスクの最先端の AI パイプラインの精度と同等かそれを上回り、最大 28$\times$ 高速に実行されます。
LOTUS は https://github.com/stanford-futuredata/lotus で公開されています。
要約(オリジナル)
The semantic capabilities of language models (LMs) have the potential to enable rich analytics and reasoning over vast knowledge corpora. Unfortunately, existing systems lack high-level abstractions to perform bulk semantic queries across large corpora. We introduce semantic operators, a declarative programming interface that extends the relational model with composable AI-based operations for bulk semantic queries (e.g., filtering, sorting, joining or aggregating records using natural language criteria). Each operator can be implemented and optimized in multiple ways, opening a rich space for execution plans similar to relational operators. We implement our operators in LOTUS, an open source query engine with a DataFrame API. Furthermore, we develop several novel optimizations that take advantage of the declarative nature of semantic operators to accelerate semantic filtering, clustering and join operators by up to $400\times$ while offering statistical accuracy guarantees. We demonstrate LOTUS’ effectiveness on real AI applications including fact-checking, extreme multi-label classification, and search. We show that the semantic operator model is expressive, capturing state-of-the-art AI pipelines in a few operator calls, and making it easy to express new pipelines that achieve up to $180\%$ higher quality. Overall, LOTUS queries match or exceed the accuracy of state-of-the-art AI pipelines for each task while running up to 28$\times$ faster. LOTUS is publicly available at https://github.com/stanford-futuredata/lotus.
arxiv情報
| 著者 | Liana Patel,Siddharth Jha,Parth Asawa,Melissa Pan,Carlos Guestrin,Matei Zaharia |
| 発行日 | 2024-11-18 08:01:24+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google