BioRAG: A RAG-LLM Framework for Biological Question Reasoning

要約

生命科学研究のための質問応答システムは、急速な発見のペース、進化する洞察、知識エンティティ間の複雑な相互作用を特徴としており、包括的な知識倉庫の維持と正確な情報検索においてユニークな課題を提示している。これらの問題に対処するために、我々は大規模言語モデル（LLMs）フレームワークを用いた新しい検索拡張生成（RAG）であるBioRAGを紹介する。我々のアプローチは、基本知識として2200万件の膨大な科学論文コレクションの構文解析、索引付け、セグメンテーションから始まり、その後、この領域に合わせた特殊な埋め込みモデルを学習する。さらに、各クエリとコンテキスト間の複雑な相互関係をモデル化するのに役立つ、ドメイン固有の知識階層を組み込むことによって、ベクトル検索プロセスを強化する。最新の情報を必要とするクエリに対しては、BioRAGは質問を分解し、検索エンジンに組み込まれた反復検索プロセスを採用し、段階的な推論を行う。厳密な実験により、我々のモデルは、複数の生命科学の質問応答タスクにおいて、微調整されたLLM、検索エンジンとのLLM、および他の科学的RAGフレームワークよりも優れていることが実証されている。

要約(オリジナル)

The question-answering system for Life science research, which is characterized by the rapid pace of discovery, evolving insights, and complex interactions among knowledge entities, presents unique challenges in maintaining a comprehensive knowledge warehouse and accurate information retrieval. To address these issues, we introduce BioRAG, a novel Retrieval-Augmented Generation (RAG) with the Large Language Models (LLMs) framework. Our approach starts with parsing, indexing, and segmenting an extensive collection of 22 million scientific papers as the basic knowledge, followed by training a specialized embedding model tailored to this domain. Additionally, we enhance the vector retrieval process by incorporating a domain-specific knowledge hierarchy, which aids in modeling the intricate interrelationships among each query and context. For queries requiring the most current information, BioRAG deconstructs the question and employs an iterative retrieval process incorporated with the search engine for step-by-step reasoning. Rigorous experiments have demonstrated that our model outperforms fine-tuned LLM, LLM with search engines, and other scientific RAG frameworks across multiple life science question-answering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL