Towards Automatic Evaluation for LLMs’ Clinical Capabilities: Metric, Data, and Algorithm

要約

大規模言語モデル (LLM) は、自然言語のモデリングにおける前例のないパフォーマンスにより、医療診断の臨床効率を向上させるためにますます関心が高まっています。
安全で信頼性の高い臨床応用を確保するには、幻覚などの潜在的なリスクをより適切に軽減するために、LLM の評価が実際に重要になります。
しかし、現在の評価方法は、人間が好む判断を達成するために、労働集約的な人間の参加に大きく依存しています。
この課題を克服するために、病気の診断や治療などの臨床サービスを提供する際の LLM の能力を評価するように調整された自動評価パラダイムを提案します。
評価パラダイムには、メトリック、データ、アルゴリズムという 3 つの基本要素が含まれています。
具体的には、専門的な臨床実践パスウェイからインスピレーションを得て、LLM 固有のクリニカル パスウェイ (LCP) を策定し、医師エージェントが持つべき臨床能力を定義します。
次に、評価のための医療データを収集するためのガイドラインとして医学教育からの標準化患者 (SP) が導入され、評価手順の完全性を確実に確保できます。
これらのステップを活用して、SP とドクター エージェント間の対話環境をシミュレートするマルチエージェント フレームワークを開発します。このフレームワークには、ドクター エージェントの動作が LCP に従っているかどうかを判断する検索拡張評価 (RAE) が装備されています。
上記のパラダイムを同様の臨床シナリオに拡張して、LLM の医療能力を自動的に評価することができます。
このようなパラダイムを適用して、LCP、SP データセット、自動化された RAE を含む泌尿器科分野の評価ベンチマークを構築します。
提案されたアプローチの有効性を実証するために広範な実験が行われ、臨床現場での LLM の安全で信頼性の高い展開についてのさらなる洞察が得られます。

要約(オリジナル)

Large language models (LLMs) are gaining increasing interests to improve clinical efficiency for medical diagnosis, owing to their unprecedented performance in modelling natural language. Ensuring the safe and reliable clinical applications, the evaluation of LLMs indeed becomes critical for better mitigating the potential risks, e.g., hallucinations. However, current evaluation methods heavily rely on labor-intensive human participation to achieve human-preferred judgements. To overcome this challenge, we propose an automatic evaluation paradigm tailored to assess the LLMs’ capabilities in delivering clinical services, e.g., disease diagnosis and treatment. The evaluation paradigm contains three basic elements: metric, data, and algorithm. Specifically, inspired by professional clinical practice pathways, we formulate a LLM-specific clinical pathway (LCP) to define the clinical capabilities that a doctor agent should possess. Then, Standardized Patients (SPs) from the medical education are introduced as the guideline for collecting medical data for evaluation, which can well ensure the completeness of the evaluation procedure. Leveraging these steps, we develop a multi-agent framework to simulate the interactive environment between SPs and a doctor agent, which is equipped with a Retrieval-Augmented Evaluation (RAE) to determine whether the behaviors of a doctor agent are in accordance with LCP. The above paradigm can be extended to any similar clinical scenarios to automatically evaluate the LLMs’ medical capabilities. Applying such paradigm, we construct an evaluation benchmark in the field of urology, including a LCP, a SPs dataset, and an automated RAE. Extensive experiments are conducted to demonstrate the effectiveness of the proposed approach, providing more insights for LLMs’ safe and reliable deployments in clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google