EvidenceMap: Learning Evidence Analysis to Unleash the Power of Small Language Models for Biomedical Question Answering

要約

生物医学の領域で専門的な質問に対処するとき、人間は通常、複数の情報を証拠として取得し、高品質の回答を提供するために多面的な証拠分析に従事します。
現在のLLMベースの回答生成方法には、証拠分析のための詳細な定義と学習プロセスがあり、証拠を使用しながらエラーの伝播と幻覚のリスクにつながります。
LLMSのパラメーターサイズを増やすと、これらの問題が軽減される可能性がありますが、リソースが限られているモデルトレーニングと展開にも課題があります。
この研究では、小さな訓練を受けた言語モデルが、支持的評価、論理的相関、内容の要約を含む生物医学的証拠の複数の側面を明示的に学習することを目的としたEvidencemapを提案します。
テキストの応答を提供します。
実験結果は、66mのパラメーターを使用した言語モデルを微調整する方法が、参照ベースの品質と精度でそれぞれ8B LLM x 19.9％および5.7％でRAGメソッドを超えることを示しています。

要約(オリジナル)

When addressing professional questions in the biomedical domain, humans typically acquire multiple pieces of information as evidence and engage in multifaceted evidence analysis to provide high-quality answers. Current LLM-based answer generation methods lack a detailed definition and learning process for evidence analysis, leading to the risk of error propagation and hallucinations while using evidence. Although increasing the parameter size of LLMs can alleviate these issues, it also presents challenges in model training and deployment with limited resources. In this study, we propose EvidenceMap, which aims to enable a tiny pre-trained language model to explicitly learn multiple aspects of biomedical evidence, including supportive evaluation, logical correlation and content summarization, thereby latently guiding a small generative model (around 3B parameters) to provide textual responses. Experimental results demonstrate that our method, fine-tuning a language model with 66M parameters, exceeds the RAG method with an 8B LLM by 19.9% and 5.7% in reference-based quality and accuracy, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google