Appraising the Potential Uses and Harms of LLMs for Medical Systematic Reviews

要約

医療の系統的レビューは、医療の意思決定と政策において重要な役割を果たします。
ただし、その作成には時間がかかり、高品質で最新の証拠概要の入手が制限されます。
大規模言語モデル (LLM) の最近の進歩により、オンデマンドで文献レビューを自動的に生成できる可能性が生まれ、この問題に対処できます。
ただし、LLM は、幻覚や省略によって不正確な (誤解を招く可能性がある) テキストを生成することがあります。
医療分野では、これにより LLM が良くても使用できなくなり、最悪の場合は危険になる可能性があります。
私たちは、国際的な系統的レビューの専門家と16回のインタビューを実施し、医療証拠レビューの特定の状況におけるLLMの認識された有用性とリスクを特徴づけました。
専門家らは、LLM が要約の草案作成、テンプレートの生成、情報の抽出、情報のクロスチェックなどによって執筆プロセスを支援できることを指摘しました。
彼らはまた、自信を持って構成されているが不正確な LLM 出力や、説明責任の低下や低品質レビューの蔓延など、下流でのその他の潜在的な損害についての懸念も提起しました。
この定性分析に基づいて、私たちは分野の専門家の見解に沿った生物医学 LLM の厳密な評価基準を特定します。

要約(オリジナル)

Medical systematic reviews play a vital role in healthcare decision making and policy. However, their production is time-consuming, limiting the availability of high-quality and up-to-date evidence summaries. Recent advancements in large language models (LLMs) offer the potential to automatically generate literature reviews on demand, addressing this issue. However, LLMs sometimes generate inaccurate (and potentially misleading) texts by hallucination or omission. In healthcare, this can make LLMs unusable at best and dangerous at worst. We conducted 16 interviews with international systematic review experts to characterize the perceived utility and risks of LLMs in the specific context of medical evidence reviews. Experts indicated that LLMs can assist in the writing process by drafting summaries, generating templates, distilling information, and crosschecking information. They also raised concerns regarding confidently composed but inaccurate LLM outputs and other potential downstream harms, including decreased accountability and proliferation of low-quality reviews. Informed by this qualitative analysis, we identify criteria for rigorous evaluation of biomedical LLMs aligned with domain expert views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google