Benchmarking Large Language Models on Communicative Medical Coaching: a Novel System and Dataset

要約

医療における自然言語処理 (NLP) の従来の応用は、主に患者中心のサービスに焦点を当てており、医療対話システムなどを通じた患者の対話とケアの提供を強化してきました。
しかし、特にコミュニケーション医療コーチングなどの分野において、経験の浅い医師に NLP が役立つ可能性は、ほとんど解明されていないままです。
人とAIの統合連携フレームワーク「ChatCoach」を紹介します。
このフレームワーク内では、患者エージェントとコーチング エージェントの両方が協力して、医療学習者が診察中に医療コミュニケーション スキルを実践できるようサポートします。
従来の対話システムとは異なり、ChatCoach は、人間の医師が患者エージェントと医療対話を行うことができるシミュレートされた環境を提供します。
同時に、コーチング エージェントが医師にリアルタイムのフィードバックを提供します。
ChatCoach システムを構築するために、コミュニケーション医療コーチング タスクにおける有効性を評価することを目的として、データセットを開発し、ChatGPT や Llama2 などの大規模言語モデルを統合しました。
私たちの比較分析は、命令を調整した Llama2 が ChatGPT のプロンプトベースのアプローチよりも大幅に優れていることを示しています。

要約(オリジナル)

Traditional applications of natural language processing (NLP) in healthcare have predominantly focused on patient-centered services, enhancing patient interactions and care delivery, such as through medical dialogue systems. However, the potential of NLP to benefit inexperienced doctors, particularly in areas such as communicative medical coaching, remains largely unexplored. We introduce “ChatCoach,” an integrated human-AI cooperative framework. Within this framework, both a patient agent and a coaching agent collaboratively support medical learners in practicing their medical communication skills during consultations. Unlike traditional dialogue systems, ChatCoach provides a simulated environment where a human doctor can engage in medical dialogue with a patient agent. Simultaneously, a coaching agent provides real-time feedback to the doctor. To construct the ChatCoach system, we developed a dataset and integrated Large Language Models such as ChatGPT and Llama2, aiming to assess their effectiveness in communicative medical coaching tasks. Our comparative analysis demonstrates that instruction-tuned Llama2 significantly outperforms ChatGPT’s prompting-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google