Generating medically-accurate summaries of patient-provider dialogue: A multi-stage approach using large language models

要約

【タイトル】
大規模言語モデルを用いた多段階アプローチによる、医療的に正確な患者-医療者の対話の要約生成

【要約】
患者の受診時に医療提供者が作成する要約は、臨床的な意思決定、医療者間の引き継ぎを促進すること、患者の参照情報となることなど、いくつもの重要な用途がある。しかし、患者が生成する複雑な言語のために、医療関係のある情報を正確かつ整然と捉えることが求められている。診察の要約にわずかな不正確さがある場合でも（例えば、発熱があるのに「患者は発熱していない」とまとめた場合）、患者の治療結果に悪影響を与える可能性がある。本論文では、医療の会話要約をいくつかの小さな対話理解タスクに分割して、段階的に構築することによって、この問題に取り組んでいる。まず、会話の中で医療関係のある用語やその断定的な情報を識別し、それを用いて段階的に要約を作成する。患者の情報を考慮して、ダイナミックにfew-shot promptを生成する手法を用い、実験にはGPT-3をベースとしている。また、GPTから派生した要約評価指標を開発し、この手法によって生成された要約が医学的に正確であることを評価した。評価にはヒトによる評価と医学的正確性の評価指標を用いたが、結果は、ダイナミックなアプローチを用いた要約が、ゼロショットの単一prompt設定よりも有効であることを明らかにしている。

要約(オリジナル)

A medical provider’s summary of a patient visit serves several critical purposes, including clinical decision-making, facilitating hand-offs between providers, and as a reference for the patient. An effective summary is required to be coherent and accurately capture all the medically relevant information in the dialogue, despite the complexity of patient-generated language. Even minor inaccuracies in visit summaries (for example, summarizing ‘patient does not have a fever’ when a fever is present) can be detrimental to the outcome of care for the patient. This paper tackles the problem of medical conversation summarization by discretizing the task into several smaller dialogue-understanding tasks that are sequentially built upon. First, we identify medical entities and their affirmations within the conversation to serve as building blocks. We study dynamically constructing few-shot prompts for tasks by conditioning on relevant patient information and use GPT-3 as the backbone for our experiments. We also develop GPT-derived summarization metrics to measure performance against reference summaries quantitatively. Both our human evaluation study and metrics for medical correctness show that summaries generated using this approach are clinically accurate and outperform the baseline approach of summarizing the dialog in a zero-shot, single-prompt setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI