Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers

要約

大規模な言語モデル（LLM）をセラピストとして使用する必要がありますか？
このホワイトペーパーでは、LLMSの使用を調査して、メンタルヘルスプロバイダーを *交換 *してください。これは、ハイテクスタートアップと研究分野で宣伝されているユースケースです。
私たちは、セラピストとクライアントの間の治療同盟の重要性など、治療関係の重要な側面を特定するために、主要な医療機関が使用する治療ガイドのマッピングレビューを実施します。
次に、「GPT-4O」などの現在のLLMの応答を調査するいくつかの実験を実施することにより、LLMSが治療関係のこれらの側面を再現し、遵守する能力を評価します。
医学界のベストプラクティスとは反対に、LLMS 1）精神的健康状態のある人に対するスティグマを表現し、2）自然療法の設定における特定の一般的な（そして重要な）状態に不適切に対応する – たとえば、LLMは、おそらく彼らのサイコファンシーのためにクライアントの妄想的思考を奨励します。
これは、より大きくて新しいLLMSでも発生し、現在の安全慣行がこれらのギャップに対処しない可能性があることを示しています。
さらに、治療的同盟には人間の特徴（アイデンティティや利害関係など）を必要とするなど、セラピストとしてのLLMの採用に対する基本的および実用的な障壁に注意してください。
これらの理由により、LLMはセラピストに取って代わるべきではないと結論付け、臨床療法におけるLLMの代替役割について議論します。

要約(オリジナル)

Should a large language model (LLM) be used as a therapist? In this paper, we investigate the use of LLMs to *replace* mental health providers, a use case promoted in the tech startup and research space. We conduct a mapping review of therapy guides used by major medical institutions to identify crucial aspects of therapeutic relationships, such as the importance of a therapeutic alliance between therapist and client. We then assess the ability of LLMs to reproduce and adhere to these aspects of therapeutic relationships by conducting several experiments investigating the responses of current LLMs, such as `gpt-4o`. Contrary to best practices in the medical community, LLMs 1) express stigma toward those with mental health conditions and 2) respond inappropriately to certain common (and critical) conditions in naturalistic therapy settings — e.g., LLMs encourage clients’ delusional thinking, likely due to their sycophancy. This occurs even with larger and newer LLMs, indicating that current safety practices may not address these gaps. Furthermore, we note foundational and practical barriers to the adoption of LLMs as therapists, such as that a therapeutic alliance requires human characteristics (e.g., identity and stakes). For these reasons, we conclude that LLMs should not replace therapists, and we discuss alternative roles for LLMs in clinical therapy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google