Benchmarking Retrieval-Augmented Generation for Chemistry

要約

検索された生成（RAG）は、特に専門的で動的な情報を要求する科学的領域で、外部の知識を持つ大規模な言語モデル（LLM）を強化するための強力なフレームワークとして浮上しています。
その約束にもかかわらず、化学ドメインでのRAGの適用は、主に高品質のドメイン固有のコーパスと十分にキュレーションされた評価ベンチマークの欠如のために、目立たないままです。
この作業では、ChemRag-Benchを紹介します。ChemRag-Benchは、化学関連のタスクの多様なセットでRAGの有効性を体系的に評価するように設計された包括的なベンチマークです。
付随する化学コーパスは、科学文献、Pubchemデータベース、PubMed要約、教科書、ウィキペディアエントリなど、異種の知識源を統合します。
さらに、5つの検索アルゴリズムと8つのLLMをサポートするモジュール式および拡張可能なRAGツールキットであるChemRag-Toolkitを提示します。
ChemRag-Toolkitを使用して、RAGがかなりのパフォーマンスを得ると、直接推論方法よりも17.4％の平均相対改善を達成することを実証します。
さらに、レトリバーアーキテクチャ、コーパス選択、および回収されたパッセージの数について詳細な分析を実施し、化学ドメインにおけるRAGシステムの将来の研究と展開を導くための実践的な推奨事項に至ります。
コードとデータはhttps://chemrag.github.ioで入手できます。

要約(オリジナル)

Retrieval-augmented generation (RAG) has emerged as a powerful framework for enhancing large language models (LLMs) with external knowledge, particularly in scientific domains that demand specialized and dynamic information. Despite its promise, the application of RAG in the chemistry domain remains underexplored, primarily due to the lack of high-quality, domain-specific corpora and well-curated evaluation benchmarks. In this work, we introduce ChemRAG-Bench, a comprehensive benchmark designed to systematically assess the effectiveness of RAG across a diverse set of chemistry-related tasks. The accompanying chemistry corpus integrates heterogeneous knowledge sources, including scientific literature, the PubChem database, PubMed abstracts, textbooks, and Wikipedia entries. In addition, we present ChemRAG-Toolkit, a modular and extensible RAG toolkit that supports five retrieval algorithms and eight LLMs. Using ChemRAG-Toolkit, we demonstrate that RAG yields a substantial performance gain — achieving an average relative improvement of 17.4% over direct inference methods. We further conduct in-depth analyses on retriever architectures, corpus selection, and the number of retrieved passages, culminating in practical recommendations to guide future research and deployment of RAG systems in the chemistry domain. The code and data is available at https://chemrag.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google