Synthetic Patient-Physician Dialogue Generation from Clinical Notes Using LLM

要約

医療対話システム (MDS) は、患者と医師のコミュニケーションを強化し、医療へのアクセスを改善し、コストを削減します。
ただし、これらのシステムをトレーニングするために適切なデータを取得するには、大きな課題が生じます。
プライバシー上の懸念により実際の会話の使用が妨げられ、合成的な代替手段が必要になります。
公開されている臨床ノートからの合成対話生成は、プライバシーを保護しながら現実的なデータを提供し、この問題に対する有望な解決策を提供します。
私たちのアプローチである SynDial は、単一の LLM を繰り返し使用し、ゼロショット プロンプトとフィードバック ループを使用して、高品質の合成ダイアログを生成および洗練します。
フィードバックは、類似性と抽出性の重み付けされた評価スコアで構成されます。
反復プロセスにより、ダイアログが事前に定義されたしきい値を確実に満たし、フィードバック ループの結果として優れた抽出性が実現します。
さらに、評価の結果、生成されたダイアログはベースラインと比較して事実性の指標において優れており、GPT4 と同等の多様性スコアを備えていることが示されています。

要約(オリジナル)

Medical dialogue systems (MDS) enhance patient-physician communication, improve healthcare accessibility, and reduce costs. However, acquiring suitable data to train these systems poses significant challenges. Privacy concerns prevent the use of real conversations, necessitating synthetic alternatives. Synthetic dialogue generation from publicly available clinical notes offers a promising solution to this issue, providing realistic data while safeguarding privacy. Our approach, SynDial, uses a single LLM iteratively with zero-shot prompting and a feedback loop to generate and refine high-quality synthetic dialogues. The feedback consists of weighted evaluation scores for similarity and extractiveness. The iterative process ensures dialogues meet predefined thresholds, achieving superior extractiveness as a result of the feedback loop. Additionally, evaluation shows that the generated dialogues excel in factuality metric compared to the baselines and has comparable diversity scores with GPT4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google