Jointly Extracting Interventions, Outcomes, and Findings from RCT Reports with LLMs

要約

ランダム化比較試験（RCT）の結果は介入の比較有効性を確立し、ひいては証拠に基づいたケアへの重要な情報となります。
ただし、RCT の結果は、治験の設計、実行、結果を説明する (多くの場合非構造化された) 自然言語記事として提示されます。
臨床医は、そのような論文から関心のある介入および結果に関する所見を手動で抽出する必要があります。
この面倒な手動プロセスにより、治験報告書から構造化証拠を（半）自動抽出する取り組みが促進されました。
この研究では、臨床要約から介入、結果、および比較要素 (ICO 要素) を共同で抽出し、報告された関連結果を推論するために、命令調整された大規模言語モデル (LLM) に基づいて構築されたテキスト間モデルを提案および評価します。
手動 (専門家) 評価と自動評価では、条件付き生成タスクとして証拠抽出をフレーミングし、この目的で LLM を微調整することで、以前の SOTA に比べて大幅な ($\sim$20 ポイントの絶対 F1 スコア) 向上が実現されることが示されています。
アブレーションとエラー分析を実行して、モデルのパフォーマンスに寄与する側面を評価し、さらなる改善の潜在的な方向性を強調します。
2022 年半ばまでに公開された RCT のコレクションにモデルを適用し、構造化された結果の検索可能なデータベースをリリースします: bit.ly/joint-relations-extraction-mlhc

要約(オリジナル)

Results from Randomized Controlled Trials (RCTs) establish the comparative effectiveness of interventions, and are in turn critical inputs for evidence-based care. However, results from RCTs are presented in (often unstructured) natural language articles describing the design, execution, and outcomes of trials; clinicians must manually extract findings pertaining to interventions and outcomes of interest from such articles. This onerous manual process has motivated work on (semi-)automating extraction of structured evidence from trial reports. In this work we propose and evaluate a text-to-text model built on instruction-tuned Large Language Models (LLMs) to jointly extract Interventions, Outcomes, and Comparators (ICO elements) from clinical abstracts, and infer the associated results reported. Manual (expert) and automated evaluations indicate that framing evidence extraction as a conditional generation task and fine-tuning LLMs for this purpose realizes considerable ($\sim$20 point absolute F1 score) gains over the previous SOTA. We perform ablations and error analyses to assess aspects that contribute to model performance, and to highlight potential directions for further improvements. We apply our model to a collection of published RCTs through mid-2022, and release a searchable database of structured findings: bit.ly/joint-relations-extraction-mlhc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google