Jointly Extracting Interventions, Outcomes, and Findings from RCT Reports with LLMs

要約

タイトル：LLMsを用いたRCT報告から介入、アウトカム、および結果を共同抽出する

要約：
– ランダム化比較試験（RCT）の結果は、介入の比較的な有効性を示し、エビデンスに基づくケアに重要な入力情報です。
– RCTの結果は、試験のデザイン、実行、およびアウトカムを説明する（しばしば非構造化の）自然言語の記事で提示されます。
– 臨床医は、そのような記事から介入とアウトカムに関する知見を手動で抽出する必要があります。この手動処理は困難であり、構造化エビデンスの（半）自動的な抽出に取り組む意欲を刺激しています。
– 本研究では、臨床概要から介入、アウトカム、およびコンパレータ（ICO要素）を共同で抽出し、報告された関連する結果を推定するためにinstruction-tuned Large Language Models（LLMs）を用いたテキストからテキストへのモデルを提案および評価しています。
– 専門家による手動および自動評価は、エビデンス抽出を条件付き生成タスクとしてフレーム化し、この目的のためにLLMsを微調整することで、従来の最高水準（SOTA）に比べてかなり（約20ポイントの絶対F1スコア）利益があることを示唆しています。
– モデルの性能に貢献する要因を評価し、さらなる改善の可能性を示すために抜粋とエラーの分析を実行します。
– 我々は、2022年中に出版されたRCTのコレクションに当社のモデルを適用し、構造化された知見の検索可能なデータベースをリリースします（現時点では匿名）：bit.ly/joint-relations-extraction-mlhc

要約(オリジナル)

Results from Randomized Controlled Trials (RCTs) establish the comparative effectiveness of interventions, and are in turn critical inputs for evidence-based care. However, results from RCTs are presented in (often unstructured) natural language articles describing the design, execution, and outcomes of trials; clinicians must manually extract findings pertaining to interventions and outcomes of interest from such articles. This onerous manual process has motivated work on (semi-)automating extraction of structured evidence from trial reports. In this work we propose and evaluate a text-to-text model built on instruction-tuned Large Language Models (LLMs) to jointly extract Interventions, Outcomes, and Comparators (ICO elements) from clinical abstracts, and infer the associated results reported. Manual (expert) and automated evaluations indicate that framing evidence extraction as a conditional generation task and fine-tuning LLMs for this purpose realizes considerable ($\sim$20 point absolute F1 score) gains over the previous SOTA. We perform ablations and error analyses to assess aspects that contribute to model performance, and to highlight potential directions for further improvements. We apply our model to a collection of published RCTs through mid-2022, and release a searchable database of structured findings (anonymously for now): bit.ly/joint-relations-extraction-mlhc

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI