LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment

要約

この研究では、オープンソースの大規模言語モデル (LLM) を活用し、モンゴメリー・アスバーグうつ病評価尺度 (MADRS) を使用してうつ病の重症度評価を自動化する新しいフレームワークである LlaMADRS を紹介します。
私たちは、モデルが転写された臨床インタビューを解釈して採点する際にガイドするために、慎重に設計された合図を備えたゼロショット プロンプト戦略を採用しています。
私たちのアプローチは、状況適応型マルチモーダル情報学 (CAMI) データセットからの 236 件の実世界のインタビューでテストされ、臨床医の評価との強い相関関係を示しています。
Qwen 2.5–72b モデルは、ほとんどの MADRS 項目にわたって人間に近いレベルの一致を達成し、クラス内相関係数 (ICC) は人間の評価者間の相関係数に非常に近づきます。
私たちは、さまざまな MADRS 項目にわたるモデルのパフォーマンスの包括的な分析を提供し、強みと現在の限界を強調します。
私たちの調査結果は、LLM が適切なプロンプトを使用すれば、メンタルヘルス評価のための効率的なツールとして機能し、リソースが限られた環境でのアクセシビリティを向上させる可能性があることを示唆しています。
しかし、特に非言語的手がかりに依存する症状の評価においては課題が残されており、今後の研究において多角的なアプローチの必要性が強調されています。

要約(オリジナル)

This study introduces LlaMADRS, a novel framework leveraging open-source Large Language Models (LLMs) to automate depression severity assessment using the Montgomery-Asberg Depression Rating Scale (MADRS). We employ a zero-shot prompting strategy with carefully designed cues to guide the model in interpreting and scoring transcribed clinical interviews. Our approach, tested on 236 real-world interviews from the Context-Adaptive Multimodal Informatics (CAMI) dataset, demonstrates strong correlations with clinician assessments. The Qwen 2.5–72b model achieves near-human level agreement across most MADRS items, with Intraclass Correlation Coefficients (ICC) closely approaching those between human raters. We provide a comprehensive analysis of model performance across different MADRS items, highlighting strengths and current limitations. Our findings suggest that LLMs, with appropriate prompting, can serve as efficient tools for mental health assessment, potentially increasing accessibility in resource-limited settings. However, challenges remain, particularly in assessing symptoms that rely on non-verbal cues, underscoring the need for multimodal approaches in future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google