PlugMed: Improving Specificity in Patient-Centered Medical Dialogue Generation using In-Context Learning

要約

患者中心の医療対話システムは、医療知識に乏しい利用者に対しても、患者に応じた対応を重視した読影サービスを提供することを目指しています。
大規模言語モデル (LLM) は、医療分野の一部のタスクにおいてさえ、そのパフォーマンスが期待できるにもかかわらず、応答の特異性を保証することが困難です。
私たちは、コンテキスト内学習に触発されて、この課題に対処するためのプラグアンドプレイ医療対話システムである PlugMed を提案します。
PlugMed には、対話の特異性を向上させるための LLM の対話戦略を強化するために、プロンプト生成 (PG) モジュールと応答ランキング (RR) モジュールの 2 つのモジュールが装備されています。
PG モジュールは、類似の患者からの実際の対話をプロンプトとして LLM に提供することで、LLM の模倣能力を刺激するように設計されています。
RR モジュールには、応答フィルターとして微調整された小型モデルが組み込まれており、LLM によって生成された適切な応答を選択できるようになります。
さらに、ユーザーの意図と高頻度の医療用語のマッチングに基づいた新しい評価手法を導入し、応答の特異性を効果的に評価します。
私たちは 3 つの医療対話データセットに対して実験的な評価を実施し、自動評価と人間による評価の両方を含む結果は、私たちのアプローチの有効性を示しています。

要約(オリジナル)

The patient-centered medical dialogue systems strive to offer diagnostic interpretation services to users who are less knowledgeable about medical knowledge, through emphasizing the importance of providing responses specific to the patients. It is difficult for the large language models (LLMs) to guarantee the specificity of responses in spite of its promising performance even in some tasks in medical field. Inspired by in-context learning, we propose PlugMed, a Plug-and-Play Medical Dialogue System, for addressing this challenge. PlugMed is equipped with two modules, the prompt generation (PG) module and the response ranking (RR) module, to enhances LLMs’ dialogue strategies for improving the specificity of the dialogue. The PG module is designed to stimulate the imitative ability of LLMs by providing them with real dialogues from similar patients as prompts. The RR module incorporates fine-tuned small model as response filter to enable the selection of appropriate responses generated by LLMs. Furthermore, we introduce a new evaluation method based on matching both user’s intent and high-frequency medical term to effectively assess the specificity of the responses. We conduct experimental evaluations on three medical dialogue datasets, and the results, including both automatic and human evaluation, demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google