EvidenceMap: Unleashing the Power of Small Language Models with Evidence Analysis for Biomedical Question Answering

要約

現在の LLM ベースのアプローチは、モデルの内部推論能力を活用したり、外部の知識を組み込んだりすることで、質問応答のパフォーマンスを向上させます。
しかし、人間が専門的な問題に取り組む場合、より良い答えを導き出すためには、複数の証拠や多様な証拠から多面的な関係を明確に分析することが不可欠です。
この研究では、小規模言語モデル (SLM) による証拠分析を明示的に学習して組み込む、EvidenceMap という生物医学領域向けの新しい生成的質問応答フレームワークを提案します。
このフレームワークは、各質問の証拠マップを記述し、SLM を最大限に活用して、裏付けとなる評価、論理的相関関係、および関連する証拠の要約の表現を導き出します。これにより、自己回帰的な方法で別の SLM を使用した分析拡張生成が容易になります。
広範な実験により、証拠分析学習プロセスを導入すると、大規模なモデルや一般的な LLM 推論手法よりも大幅に優れたパフォーマンスを発揮できることが示されました。

要約(オリジナル)

Current LLM-based approaches improve question answering performance by leveraging the internal reasoning abilities of models or incorporating external knowledge. However, when humans address professional problems, it is essential to explicitly analyze the multifaceted relationships from multiple pieces and diverse sources of evidence to achieve better answers. In this study, we propose a novel generative question answering framework for the biomedical domain, named EvidenceMap, which explicitly learns and incorporates evidence analysis with small language models (SLMs). The framework describes an evidence map for each question and fully utilizes an SLM to derive the representation of the supportive evaluation, the logical correlation, and the summarization of the related evidence, which facilitates an analysis-augmented generation with another SLM in an autoregressive way. Extensive experiments have shown that introducing an evidence analysis learning process can significantly outperform larger models and popular LLM reasoning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google