ERATTA: Extreme RAG for Table To Answers with Large Language Models

要約

近年、検索拡張生成 (RAG) を備えた大規模言語モデル (LLM) が、スケーラブルな生成 AI ソリューションにとって最適な選択肢となってきました。
ただし、RAG と LLM を組み込むユースケースの選択は、汎用的なものであるか、非常にドメイン固有のものであるため、RAG-LLM アプローチのスケーラビリティと汎用性が疑問視されています。
この研究では、複数の LLM を呼び出して、データ認証、ユーザー クエリ ルーティング、データ取得、および変化が激しくサイズが大きいデータ テーブルからの質問応答機能のカスタム プロンプトを有効にする、独自の LLM ベースのシステムを提案します。
当社のシステムは、エンタープライズレベルのデータ製品から情報を抽出し、10 秒以内にリアルタイムで応答できるように調整されています。
1 つのプロンプトはユーザーとデータの認証を管理し、その後に 3 つのプロンプトがルーティング、データのフェッチ、カスタマイズ可能なプロンプト自然言語応答の生成を行います。
さらに、LLM 応答内の幻覚を検出して報告する 5 つの指標のスコアリング モジュールを提案します。
私たちが提案するシステムとスコアリング指標は、持続可能性、財務健全性、ソーシャル メディアの領域における数百のユーザー クエリにわたって 90% 以上の信頼スコアを達成します。
提案されているエクストリーム RAG アーキテクチャを拡張すると、LLM を使用した異種ソースのクエリが可能になります。

要約(オリジナル)

Large language models (LLMs) with retrieval augmented-generation (RAG) have been the optimal choice for scalable generative AI solutions in the recent past. However, the choice of use-cases that incorporate RAG with LLMs have been either generic or extremely domain specific, thereby questioning the scalability and generalizability of RAG-LLM approaches. In this work, we propose a unique LLM-based system where multiple LLMs can be invoked to enable data authentication, user query routing, data retrieval and custom prompting for question answering capabilities from data tables that are highly varying and large in size. Our system is tuned to extract information from Enterprise-level data products and furnish real time responses under 10 seconds. One prompt manages user-to-data authentication followed by three prompts to route, fetch data and generate a customizable prompt natural language responses. Additionally, we propose a five metric scoring module that detects and reports hallucinations in the LLM responses. Our proposed system and scoring metrics achieve >90% confidence scores across hundreds of user queries in the sustainability, financial health and social media domains. Extensions to the proposed extreme RAG architectures can enable heterogeneous source querying using LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google