PSYCHE: A Multi-faceted Patient Simulation Framework for Evaluation of Psychiatric Assessment Conversational Agents

要約

近年の大規模言語モデル（LLM）の進歩により、人間のような応答を生成できる会話エージェントの開発が加速している。通常、精神医学的評価には、精神科医と患者の間の複雑な会話のやり取りが含まれるため、臨床評価における精神科医の役割をシミュレートすることを目的とした、LLMベースの精神医学的評価会話エージェント（PACA）の開発への関心が高まっている。しかし、PACAと患者との対話の臨床的適切性を評価するための標準的な方法は、まだ十分に研究されていない。ここでは、PSYCHEを提案する。PSYCHEは、1）臨床的に適切で、2）倫理的に安全で、3）費用効率が高く、4）PACAの定量的評価を可能にするように設計された新しいフレームワークである。これは、PACAが評価することが期待される模擬患者のプロフィール、病歴、行動を定義する多面的な精神医学的構成要素に基づいて精神科患者を模擬することによって達成される。我々は、模擬患者の発話の詳細な分析に裏付けされた、10人の認定精神科医を対象とした研究を通じて、PSYCHEの有効性を検証する。

要約(オリジナル)

Recent advances in large language models (LLMs) have accelerated the development of conversational agents capable of generating human-like responses. Since psychiatric assessments typically involve complex conversational interactions between psychiatrists and patients, there is growing interest in developing LLM-based psychiatric assessment conversational agents (PACAs) that aim to simulate the role of psychiatrists in clinical evaluations. However, standardized methods for benchmarking the clinical appropriateness of PACAs’ interaction with patients still remain underexplored. Here, we propose PSYCHE, a novel framework designed to enable the 1) clinically relevant, 2) ethically safe, 3) cost-efficient, and 4) quantitative evaluation of PACAs. This is achieved by simulating psychiatric patients based on a multi-faceted psychiatric construct that defines the simulated patients’ profiles, histories, and behaviors, which PACAs are expected to assess. We validate the effectiveness of PSYCHE through a study with 10 board-certified psychiatrists, supported by an in-depth analysis of the simulated patient utterances.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL