The Design of an LLM-powered Unstructured Analytics System

要約

LLM は、非構造化データを処理する驚異的な能力を発揮するため、検索を超えて複雑なセマンティック分析を大規模に実行できる可能性があります。
非構造化分析システム Aryn の設計と、その設計の動機となる理念とユースケースについて説明します。
Aryn を使用すると、ユーザーは自然言語でクエリを指定でき、システムはセマンティック プランを自動的に決定して実行し、LLM を使用して非構造化ドキュメントの大規模なコレクションから回答を計算します。
Aryn の中核となるのは、Ray を使用して構築された宣言型文書処理エンジンである Sycamore で、DocSet と呼ばれる信頼性の高い分散抽象化を提供します。
Sycamore を使用すると、ユーザーは複雑なドキュメントを大規模に分析、強化、変換できます。
また、Aryn は、自然言語クエリを Sycamore スクリプトに変換するクエリ プランナーである Luna と、生の PDF とドキュメント イメージを取得し、ダウンストリーム処理のためにそれらを DocSet に変換する Aryn Partitioner で構成されています。
Aryn を使用して、国家運輸安全委員会 (NTSB) からの事故報告を分析する実際のユースケースを示し、実際に Aryn を導入する際に遭遇した主要な課題のいくつかについて説明します。

要約(オリジナル)

LLMs demonstrate an uncanny ability to process unstructured data, and as such, have the potential to go beyond search and run complex, semantic analyses at scale. We describe the design of an unstructured analytics system, Aryn, and the tenets and use cases that motivate its design. With Aryn, users can specify queries in natural language and the system automatically determines a semantic plan and executes it to compute an answer from a large collection of unstructured documents using LLMs. At the core of Aryn is Sycamore, a declarative document processing engine, built using Ray, that provides a reliable distributed abstraction called DocSets. Sycamore allows users to analyze, enrich, and transform complex documents at scale. Aryn also comprises Luna, a query planner that translates natural language queries to Sycamore scripts, and the Aryn Partitioner, which takes raw PDFs and document images, and converts them to DocSets for downstream processing. Using Aryn, we demonstrate a real world use case for analyzing accident reports from the National Transportation Safety Board (NTSB), and discuss some of the major challenges we encountered in deploying Aryn in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google