Lived Experience Not Found: LLMs Struggle to Align with Experts on Addressing Adverse Drug Reactions from Psychiatric Medication Use

要約

精神科治療薬による薬物副作用（ADR）は、メンタルヘルス患者の入院の主な原因です。
医療システムとオンライン コミュニティは ADR 関連の問題の解決に限界に直面しているため、大規模言語モデル (LLM) はこのギャップを埋める可能性を秘めています。
LLM の能力が向上しているにもかかわらず、過去の研究では、精神科治療薬に関連する ADR を検出したり、効果的な危害軽減戦略を提供したりする LLM の能力は調査されていません。
これに対処するために、ADR 発現の検出と専門家と連携した緩和戦略の提供における LLM のパフォーマンスを体系的に評価するために、Psych-ADR ベンチマークと薬物副作用反応評価 (ADRA) フレームワークを導入します。
私たちの分析によると、LLM は ADR のニュアンスを理解し、ADR の種類を区別することに苦労しています。
LLM は、表現された感情や文章の調子に関しては専門家と一致していますが、その応答はより複雑で読みにくく、専門家の戦略と一致しているのは 70.86% のみです。
さらに、平均 12.32% のマージンで実用性の低いアドバイスを提供します。
私たちの取り組みは、高リスク領域内の戦略主導タスクにおいて LLM を評価するための包括的なベンチマークと評価フレームワークを提供します。

要約(オリジナル)

Adverse Drug Reactions (ADRs) from psychiatric medications are the leading cause of hospitalizations among mental health patients. With healthcare systems and online communities facing limitations in resolving ADR-related issues, Large Language Models (LLMs) have the potential to fill this gap. Despite the increasing capabilities of LLMs, past research has not explored their capabilities in detecting ADRs related to psychiatric medications or in providing effective harm reduction strategies. To address this, we introduce the Psych-ADR benchmark and the Adverse Drug Reaction Response Assessment (ADRA) framework to systematically evaluate LLM performance in detecting ADR expressions and delivering expert-aligned mitigation strategies. Our analyses show that LLMs struggle with understanding the nuances of ADRs and differentiating between types of ADRs. While LLMs align with experts in terms of expressed emotions and tone of the text, their responses are more complex, harder to read, and only 70.86% aligned with expert strategies. Furthermore, they provide less actionable advice by a margin of 12.32% on average. Our work provides a comprehensive benchmark and evaluation framework for assessing LLMs in strategy-driven tasks within high-risk domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google