Benchmarking Retrieval-Augmented Large Language Models in Biomedical NLP: Application, Robustness, and Self-Awareness

要約

大規模言語モデル (LLM) は、さまざまな生物医学自然言語処理 (NLP) タスクで優れた機能を実証し、入力コンテキスト内でのデモンストレーションを活用して新しいタスクに適応します。
ただし、LLM はデモンストレーションの選択には敏感です。
LLM に固有の幻覚問題に対処するために、検索拡張 LLM (RAL) は、確立されたデータベースから関連情報を取得することで解決策を提供します。
それにもかかわらず、既存の研究活動では、さまざまな生物医学的 NLP タスクに対する検索拡張大規模言語モデルの影響についての厳密な評価が不足しています。
この欠陥により、生物医学分野における RAL の機能を確認することが困難になります。
さらに、RAL からの出力は、生物医学分野では十分に研究されていない、ラベルのない、反事実的な、または多様な知識を取得することによって影響を受けます。
しかし、そのような知識は現実の世界では一般的です。
最後に、自己認識能力を探求することも、RAL システムにとって重要です。
そこでこの論文では、5 つの異なる生物医学タスク (トリプル抽出、リンク予測、分類、質問応答、自然言語推論) に対する RAL の影響を体系的に調査します。
私たちは、ラベルなしの堅牢性、反事実の堅牢性、多様な堅牢性、否定的な認識を含む 4 つの基本的な能力における RAL のパフォーマンスを分析します。
この目的を達成するために、我々は、さまざまな生物医学的 NLP タスクにおける RAL のパフォーマンスを評価し、前述の基本的な能力に基づいて 4 つの異なるテストベッドを確立するための評価フレームワークを提案しました。
次に、9 つのデータセットにわたる 5 つのタスクについて、3 つの異なるレトリーバーを使用して 3 つの代表的な LLM を評価します。

要約(オリジナル)

Large language models (LLM) have demonstrated remarkable capabilities in various biomedical natural language processing (NLP) tasks, leveraging the demonstration within the input context to adapt to new tasks. However, LLM is sensitive to the selection of demonstrations. To address the hallucination issue inherent in LLM, retrieval-augmented LLM (RAL) offers a solution by retrieving pertinent information from an established database. Nonetheless, existing research work lacks rigorous evaluation of the impact of retrieval-augmented large language models on different biomedical NLP tasks. This deficiency makes it challenging to ascertain the capabilities of RAL within the biomedical domain. Moreover, the outputs from RAL are affected by retrieving the unlabeled, counterfactual, or diverse knowledge that is not well studied in the biomedical domain. However, such knowledge is common in the real world. Finally, exploring the self-awareness ability is also crucial for the RAL system. So, in this paper, we systematically investigate the impact of RALs on 5 different biomedical tasks (triple extraction, link prediction, classification, question answering, and natural language inference). We analyze the performance of RALs in four fundamental abilities, including unlabeled robustness, counterfactual robustness, diverse robustness, and negative awareness. To this end, we proposed an evaluation framework to assess the RALs’ performance on different biomedical NLP tasks and establish four different testbeds based on the aforementioned fundamental abilities. Then, we evaluate 3 representative LLMs with 3 different retrievers on 5 tasks over 9 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google