CliniChat: A Multi-Source Knowledge-Driven Framework for Clinical Interview Dialogue Reconstruction and Evaluation

要約

大規模な言語モデル（LLMS）は、流fluentなインタラクティブな能力と広範な医学的知識のために、臨床インタビューを支援することに大きな期待を抱いています。
ただし、高品質のインタビュー対話データと広く受け入れられている評価方法の欠如は、このプロセスを大幅に妨げています。
そのため、LLMが実際の臨床インタビューをシミュレートできるようにマルチソースの知識を統合するフレームワークであるClinichatを提案します。
これは、それぞれインタビューの対話の再構築と評価を担当する2つのモジュールで構成されています。
3つの知識源を組み込むことにより、Clini-Reconは臨床ノートを体系的、専門的、共感的なインタビューの対話に変換します。
Clini-Evalは、包括的な評価メトリックシステムと2フェーズの自動評価アプローチを組み合わせて、LLMが専門家のようなインタビューパフォーマンスを評価できるようにします。
高品質の合成インタビューダイアログデータセットであるMedqa-Dialogと、臨床インタビューに特化したモデルであるClinichatglmを貢献します。
実験結果は、Clinichatglmのインタビュー能力が、特に歴史を獲得し、最先端のパフォーマンスを達成する包括的なアップグレードを受けることを示しています。

要約(オリジナル)

Large language models (LLMs) hold great promise for assisting clinical interviews due to their fluent interactive capabilities and extensive medical knowledge. However, the lack of high-quality interview dialogue data and widely accepted evaluation methods has significantly impeded this process. So we propose CliniChat, a framework that integrates multi-source knowledge to enable LLMs to simulate real-world clinical interviews. It consists of two modules: Clini-Recon and Clini-Eval, each responsible for reconstructing and evaluating interview dialogues, respectively. By incorporating three sources of knowledge, Clini-Recon transforms clinical notes into systematic, professional, and empathetic interview dialogues. Clini-Eval combines a comprehensive evaluation metric system with a two-phase automatic evaluation approach, enabling LLMs to assess interview performance like experts. We contribute MedQA-Dialog, a high-quality synthetic interview dialogue dataset, and CliniChatGLM, a model specialized for clinical interviews. Experimental results demonstrate that CliniChatGLM’s interview capabilities undergo a comprehensive upgrade, particularly in history-taking, achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google