Optimizing Large Language Models for Detecting Symptoms of Comorbid Depression or Anxiety in Chronic Diseases: Insights from Patient Messages

要約

糖尿病の患者は、うつ病や不安のリスクが高く、管理を複雑にしています。
この研究では、安全な患者メッセージからこれらの症状を検出する際の大規模な言語モデル（LLM）のパフォーマンスを評価しました。
エンジニアリングプロンプト、体系的なペルソナ、温度調整、ゼロショットおよび少数のショット学習など、複数のアプローチを適用して、最適なモデルを特定し、パフォーマンスを向上させました。
5つのLLMのうち3つが優れたパフォーマンス（F-1と精度の90％以上）を示し、LLAMA 3.1 405BはF-1とゼロショットアプローチを使用して精度の両方で93％を達成しました。
LLMSは、患者の健康アンケート-4などの複雑なメトリックのバイナリ分類と取り扱いにおいて有望を示しましたが、挑戦的な場合の矛盾は、さらなる現実の評価を必要とします。
この調査結果は、LLMSがタイムリーなスクリーニングと紹介を支援する可能性を強調し、慢性疾患の患者のメンタルヘルスケアを改善できる現実世界のトリアージシステムの貴重な経験的知識を提供します。

要約(オリジナル)

Patients with diabetes are at increased risk of comorbid depression or anxiety, complicating their management. This study evaluated the performance of large language models (LLMs) in detecting these symptoms from secure patient messages. We applied multiple approaches, including engineered prompts, systemic persona, temperature adjustments, and zero-shot and few-shot learning, to identify the best-performing model and enhance performance. Three out of five LLMs demonstrated excellent performance (over 90% of F-1 and accuracy), with Llama 3.1 405B achieving 93% in both F-1 and accuracy using a zero-shot approach. While LLMs showed promise in binary classification and handling complex metrics like Patient Health Questionnaire-4, inconsistencies in challenging cases warrant further real-life assessment. The findings highlight the potential of LLMs to assist in timely screening and referrals, providing valuable empirical knowledge for real-world triage systems that could improve mental health care for patients with chronic diseases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google