Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL

要約

目的: 大規模言語モデル (LLM) を使用して自然言語クエリ (NLQ) を構造化照会言語 (SQL) クエリに変換し、ビジネス コンテキスト ドキュメントを活用することで、ファーマコビジランス (PV) データベースからの情報検索の効率と精度を向上させます。
材料と方法: ビジネス コンテキスト ドキュメントで強化された検索拡張生成 (RAG) フレームワーク内で OpenAI の GPT-4 モデルを利用し、NLQ を構文的に正確な SQL クエリに変換しました。
各 NLQ は、暗記を防ぐために LLM にランダムかつ独立して提示されました。
この調査は 3 つのフェーズで実施され、クエリの複雑さを変化させ、ビジネス コンテキスト ドキュメントの有無にかかわらず LLM のパフォーマンスを評価しました。
結果: 私たちのアプローチにより、NLQ から SQL への精度が大幅に向上し、データベース スキーマのみの場合の 8.3\% からビジネス コンテキスト ドキュメントの場合の 78.3\% に増加しました。
この機能強化は、低、中、高の複雑さのクエリにわたって一貫しており、クエリ生成におけるコンテキスト知識の重要な役割を示しています。
考察: ビジネス コンテキスト ドキュメントの統合により、正確でコンテキストに関連した SQL クエリを生成する LLM の能力が大幅に向上しました。
複雑性の高いクエリを除外した場合、パフォーマンスは最大 85\% に達し、日常的な展開に期待できることがわかりました。
結論: この研究は、安全性データの取得と分析に LLM を採用する新しいアプローチを提示し、クエリ生成精度の大幅な進歩を示しています。
この方法論は、さまざまなデータ集約型ドメインに適用できるフレームワークを提供し、技術者以外のユーザーのアクセシビリティと情報検索の効率を高めます。

要約(オリジナル)

Objective: To enhance the efficiency and accuracy of information retrieval from pharmacovigilance (PV) databases by employing Large Language Models (LLMs) to convert natural language queries (NLQs) into Structured Query Language (SQL) queries, leveraging a business context document. Materials and Methods: We utilized OpenAI’s GPT-4 model within a retrieval-augmented generation (RAG) framework, enriched with a business context document, to transform NLQs into syntactically precise SQL queries. Each NLQ was presented to the LLM randomly and independently to prevent memorization. The study was conducted in three phases, varying query complexity, and assessing the LLM’s performance both with and without the business context document. Results: Our approach significantly improved NLQ-to-SQL accuracy, increasing from 8.3\% with the database schema alone to 78.3\% with the business context document. This enhancement was consistent across low, medium, and high complexity queries, indicating the critical role of contextual knowledge in query generation. Discussion: The integration of a business context document markedly improved the LLM’s ability to generate accurate and contextually relevant SQL queries. Performance achieved a maximum of 85\% when high complexity queries are excluded, suggesting promise for routine deployment. Conclusion: This study presents a novel approach to employing LLMs for safety data retrieval and analysis, demonstrating significant advancements in query generation accuracy. The methodology offers a framework applicable to various data-intensive domains, enhancing the accessibility and efficiency of information retrieval for non-technical users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google