Scientific QA System with Verifiable Answers

要約

このホワイトペーパーでは、先駆的なオープンソースの科学的質問応答システムである VerifAI プロジェクトについて紹介します。このプロジェクトは、参照されるだけでなく、自動的に精査および検証可能な回答を提供するように設計されています。
システムのコンポーネントは、(1) 科学論文に対する意味論的検索技術と語彙検索技術を組み合わせた情報検索システム (PubMed)、(2) 微調整された生成モデル (Mistral 7B) を使用する検索拡張生成 (RAG) モジュール、および検索されたデータです。
(3) SciFACT データセットを使用した自然言語推論タスクの微調整された DeBERTa モデルおよび XLM-RoBERTa モデルに基づく検証エンジン。
検証エンジンは、生成されたクレームとそのクレームの元となった記事を照合し、クレームの生成時に幻覚があった可能性があるかどうかを検証します。
Verif.ai は、情報検索モジュールと RAG モジュールを活用することで、膨大な科学的ソースから事実に基づく情報を生成することに優れています。
同時に、検証エンジンはこの出力を厳密に二重チェックし、その精度と信頼性を保証します。
この 2 段階のプロセスは、事実情報の取得と確認において重要な役割を果たし、情報環境を大幅に強化します。
私たちの方法論は、科学者の生産性を大幅に向上させると同時に、幻覚や誤った情報が受け入れられない科学分野での生成言語モデルの適用に対する信頼を醸成する可能性があります。

要約(オリジナル)

In this paper, we introduce the VerifAI project, a pioneering open-source scientific question-answering system, designed to provide answers that are not only referenced but also automatically vetted and verifiable. The components of the system are (1) an Information Retrieval system combining semantic and lexical search techniques over scientific papers (PubMed), (2) a Retrieval-Augmented Generation (RAG) module using fine-tuned generative model (Mistral 7B) and retrieved articles to generate claims with references to the articles from which it was derived, and (3) a Verification engine, based on a fine-tuned DeBERTa and XLM-RoBERTa models on Natural Language Inference task using SciFACT dataset. The verification engine cross-checks the generated claim and the article from which the claim was derived, verifying whether there may have been any hallucinations in generating the claim. By leveraging the Information Retrieval and RAG modules, Verif.ai excels in generating factual information from a vast array of scientific sources. At the same time, the Verification engine rigorously double-checks this output, ensuring its accuracy and reliability. This dual-stage process plays a crucial role in acquiring and confirming factual information, significantly enhancing the information landscape. Our methodology could significantly enhance scientists’ productivity, concurrently fostering trust in applying generative language models within scientific domains, where hallucinations and misinformation are unacceptable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google