EHR Interaction Between Patients and AI: NoteAid EHR Interaction

要約

大規模言語モデル (LLM) の急速な進歩と、意味論的理解と文脈理解におけるその優れたパフォーマンスにより、特殊なドメインにおける LLM の可能性を探求する価値があります。
このペーパーでは、患者の電子医療記録 (EHR) の理解を支援する必要性から生じたタスクである患者教育を支援するために生成 LLM を使用して開発された革新的なアプローチである NoteAid EHR インタラクション パイプラインを紹介します。
NoteAid の取り組みに基づいて、私たちは患者の視点から 2 つの新しいタスクを設計しました。それは、患者が理解できない可能性のある EHR コンテンツの説明を提供することと、EHR を読んだ後に患者が提起した質問に答えることです。
MIMIC 退院概要から 10,000 件のインスタンス、MADE 医療記録コレクションから 876 件のインスタンスを含むデータセットをそれぞれ抽出し、これらのデータを使用して NoteAid EHR インタラクション パイプラインを通じて 2 つのタスクを実行しました。
これらのタスクに関する LLM のパフォーマンス データが収集され、対応する NoteAid EHR インタラクション データセットとして構築されました。
LLM 評価を使用したデータセット全体の包括的な評価と 64 のインスタンスの厳密な手動評価を通じて、患者教育における LLM の可能性を示します。
さらに、その結​​果は、この分野での将来の探査と応用のための貴重なデータ サポートを提供するとともに、社内システム トレーニング用の高品質の合成データセットも提供します。

要約(オリジナル)

With the rapid advancement of Large Language Models (LLMs) and their outstanding performance in semantic and contextual comprehension, the potential of LLMs in specialized domains warrants exploration. This paper introduces the NoteAid EHR Interaction Pipeline, an innovative approach developed using generative LLMs to assist in patient education, a task stemming from the need to aid patients in understanding Electronic Health Records (EHRs). Building upon the NoteAid work, we designed two novel tasks from the patient’s perspective: providing explanations for EHR content that patients may not understand and answering questions posed by patients after reading their EHRs. We extracted datasets containing 10,000 instances from MIMIC Discharge Summaries and 876 instances from the MADE medical notes collection, respectively, executing the two tasks through the NoteAid EHR Interaction Pipeline with these data. Performance data of LLMs on these tasks were collected and constructed as the corresponding NoteAid EHR Interaction Dataset. Through a comprehensive evaluation of the entire dataset using LLM assessment and a rigorous manual evaluation of 64 instances, we showcase the potential of LLMs in patient education. Besides, the results provide valuable data support for future exploration and applications in this domain while also supplying high-quality synthetic datasets for in-house system training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google