BiomedRAG: A Retrieval Augmented Large Language Model for Biomedicine

要約

大規模言語モデル(LLM)は、バイオメディカルやヘルスケア領域における様々なアプリケーションのための重要なリソースとして急速に台頭してきた。検索補強型生成は、これらのモデルが知識を更新し、その性能を向上させるための解決策を提供した。従来の検索補強型LMでは、LLMが検索されたテキストを符号化するために、特殊なクロスアテンションメカニズムを利用していたが、BiomedRAGでは、検索されたチャンクベースの文書をLLMに直接入力することで、よりシンプルなアプローチを採用している。この単純な設計は、既存の検索モデルや言語モデルに容易に適用でき、特にノイズを多用するタスクにおいて、検索された文書のノイズ情報を効果的にバイパスする。さらに、バイオメディカル領域において、LLMを検索モデルのスーパーバイズに利用することで、LMの予測精度を向上させるための文書を検索できる可能性を示す。我々の実験では、チューニングされたスコアラーを用いることで、9つ以上のデータセットを活用して、情報抽出（トリプル抽出、関係抽出）、テキスト分類、リンク予測、質問応答の5つのバイオメディカルNLPタスクで優れた性能を達成することが明らかになった。例えば、トリプル抽出タスクでは、GITコーパスで81.42、ChemProtコーパスで88.83のmicro-F1スコアを獲得し、他のトリプル抽出システムを凌駕しています。

要約(オリジナル)

Large Language Models (LLMs) have swiftly emerged as vital resources for different applications in the biomedical and healthcare domains; however, these models encounter issues such as generating inaccurate information or hallucinations. Retrieval-augmented generation provided a solution for these models to update knowledge and enhance their performance. In contrast to previous retrieval-augmented LMs, which utilize specialized cross-attention mechanisms to help LLM encode retrieved text, BiomedRAG adopts a simpler approach by directly inputting the retrieved chunk-based documents into the LLM. This straightforward design is easily applicable to existing retrieval and language models, effectively bypassing noise information in retrieved documents, particularly in noise-intensive tasks. Moreover, we demonstrate the potential for utilizing the LLM to supervise the retrieval model in the biomedical domain, enabling it to retrieve the document that assists the LM in improving its predictions. Our experiments reveal that with the tuned scorer,\textsc{ BiomedRAG} attains superior performance across 5 biomedical NLP tasks, encompassing information extraction (triple extraction, relation extraction), text classification, link prediction, and question-answering, leveraging over 9 datasets. For instance, in the triple extraction task, \textsc{BiomedRAG} outperforms other triple extraction systems with micro-F1 scores of 81.42 and 88.83 on GIT and ChemProt corpora, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL