Query-driven Document-level Scientific Evidence Extraction from Biomedical Studies

要約

臨床研究の質問のための生物医学研究から科学的証拠を抽出すること（例えば、幹細胞移植は、プラセボと比較して医学的に難治性のクローン病の患者の生活の質を改善しますか？）は、生物医学的証拠を合成する上で重要なステップです。
この論文では、矛盾する証拠を伴う臨床的質問に対する文書レベルの科学的証拠抽出のタスクに焦点を当てています。
このタスクをサポートするために、Cochraneforestというデータセットを作成し、Cochraneの系統的レビューから森林プロットを活用します。
これは、202の注釈付き森林区画、関連する臨床研究の質問、研究の全文、および研究固有の結論で構成されています。
Cochraneforestに建設すると、証拠抽出のユニークな課題に取り組むために設計された検索された生成フレームワークであるURCA（均一な検索クラスター化された増強）を提案します。
私たちの実験は、URCAがこのタスクでF1スコアで最高の既存の方法を最大10.3％上回ることを示しています。
ただし、結果はコクランフォーストの複雑さも強調しており、自動化されたエビデンス合成システムを進めるための挑戦的なテストベッドとして確立されています。

要約(オリジナル)

Extracting scientific evidence from biomedical studies for clinical research questions (e.g., Does stem cell transplantation improve quality of life in patients with medically refractory Crohn’s disease compared to placebo?) is a crucial step in synthesising biomedical evidence. In this paper, we focus on the task of document-level scientific evidence extraction for clinical questions with conflicting evidence. To support this task, we create a dataset called CochraneForest, leveraging forest plots from Cochrane systematic reviews. It comprises 202 annotated forest plots, associated clinical research questions, full texts of studies, and study-specific conclusions. Building on CochraneForest, we propose URCA (Uniform Retrieval Clustered Augmentation), a retrieval-augmented generation framework designed to tackle the unique challenges of evidence extraction. Our experiments show that URCA outperforms the best existing methods by up to 10.3% in F1 score on this task. However, the results also underscore the complexity of CochraneForest, establishing it as a challenging testbed for advancing automated evidence synthesis systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google