Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges

要約

大規模な言語モデル（LLM）は、メンタルヘルスサポートシステムを含むさまざまな医療分野にますます統合されています。
ただし、英語以外のメンタルヘルスサポートアプリケーションにおけるLLMの有効性に関する研究にはギャップがあります。
この問題に対処するために、英語から6つの言語（ギリシャ語、トルコ語、フランス語、ポルトガル語、ドイツ語、フィンランド語）に翻訳された広く使用されているメンタルヘルスデータセットの新しい多言語の適応を提示します。
このデータセットにより、メンタルヘルスの状態を検出し、複数の言語にわたる重大度を評価する際のLLMパフォーマンスの包括的な評価が可能になります。
GPTとLlamaを実験することにより、同じ翻訳されたデータセットで評価されているにもかかわらず、言語間のパフォーマンスのかなりの変動性が観察されます。
この矛盾は、言語固有のニュアンスとメンタルヘルスデータのカバレッジがモデルの精度に影響を与える可能性のある多言語のメンタルヘルスサポートに固有の複雑さを強調します。
包括的なエラー分析を通じて、医療環境でLLMSのみに依存するリスク（たとえば、誤診に寄与する可能性）を強調します。
さらに、提案されているアプローチは、多言語タスクの大幅なコスト削減を提供し、広範な実装に大きな利点をもたらします。

要約(オリジナル)

Large Language Models (LLMs) are increasingly being integrated into various medical fields, including mental health support systems. However, there is a gap in research regarding the effectiveness of LLMs in non-English mental health support applications. To address this problem, we present a novel multilingual adaptation of widely-used mental health datasets, translated from English into six languages (e.g., Greek, Turkish, French, Portuguese, German, and Finnish). This dataset enables a comprehensive evaluation of LLM performance in detecting mental health conditions and assessing their severity across multiple languages. By experimenting with GPT and Llama, we observe considerable variability in performance across languages, despite being evaluated on the same translated dataset. This inconsistency underscores the complexities inherent in multilingual mental health support, where language-specific nuances and mental health data coverage can affect the accuracy of the models. Through comprehensive error analysis, we emphasize the risks of relying exclusively on LLMs in medical settings (e.g., their potential to contribute to misdiagnoses). Moreover, our proposed approach offers significant cost savings for multilingual tasks, presenting a major advantage for broad-scale implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google