BiomedRAG: A Retrieval Augmented Large Language Model for Biomedicine

要約

大規模言語モデル (LLM) は、生物医学およびヘルスケア領域のさまざまなアプリケーションにとって重要なリソースとして急速に登場しました。
ただし、これらのモデルでは、不正確な情報や幻覚が生成されるなどの問題が発生します。
検索拡張生成は、これらのモデルに知識を更新し、パフォーマンスを向上させるためのソリューションを提供しました。
特殊なクロスアテンション メカニズムを利用して、LLM による取得テキストのエンコードを支援する以前の検索拡張 LM とは対照的に、BiomedRAG は、取得したチャンクベースのドキュメントを LLM に直接入力するという、より単純なアプローチを採用しています。
この単純な設計は、既存の検索モデルや言語モデルに簡単に適用でき、特にノイズの多いタスクにおいて、検索された文書内のノイズ情報を効果的にバイパスします。
さらに、LLM を利用して生物医学領域の検索モデルを監視し、LM の予測を改善するのに役立つ文書を検索できる可能性を実証します。
私たちの実験では、調整されたスコアラーを使用することで、\textsc{ BiomedRAG} が、情報抽出 (トリプル抽出、関係抽出)、テキスト分類、リンク予測、質問応答を含む 5 つの生物医学 NLP タスクにわたって優れたパフォーマンスを達成し、9 つ以上のデータセットを活用していることが明らかになりました。
たとえば、トリプル抽出タスクでは、 \textsc{BiomedRAG} は、GIT コーパスと ChemProt コーパスでそれぞれ 81.42 と 88.83 のマイクロ F1 スコアを示し、他のトリプル抽出システムよりも優れたパフォーマンスを示しました。

要約(オリジナル)

Large Language Models (LLMs) have swiftly emerged as vital resources for different applications in the biomedical and healthcare domains; however, these models encounter issues such as generating inaccurate information or hallucinations. Retrieval-augmented generation provided a solution for these models to update knowledge and enhance their performance. In contrast to previous retrieval-augmented LMs, which utilize specialized cross-attention mechanisms to help LLM encode retrieved text, BiomedRAG adopts a simpler approach by directly inputting the retrieved chunk-based documents into the LLM. This straightforward design is easily applicable to existing retrieval and language models, effectively bypassing noise information in retrieved documents, particularly in noise-intensive tasks. Moreover, we demonstrate the potential for utilizing the LLM to supervise the retrieval model in the biomedical domain, enabling it to retrieve the document that assists the LM in improving its predictions. Our experiments reveal that with the tuned scorer,\textsc{ BiomedRAG} attains superior performance across 5 biomedical NLP tasks, encompassing information extraction (triple extraction, relation extraction), text classification, link prediction, and question-answering, leveraging over 9 datasets. For instance, in the triple extraction task, \textsc{BiomedRAG} outperforms other triple extraction systems with micro-F1 scores of 81.42 and 88.83 on GIT and ChemProt corpora, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google