Response Generation for Cognitive Behavioral Therapy with Large Language Models: Comparative Study with Socratic Questioning

要約

認知行動療法 (CBT) などのカウンセリング技術から派生した、事前定義されたシナリオまたはルールベースのシナリオによって制御される対話システムは、メンタルヘルス アプリで重要な役割を果たします。
責任ある対応が必要であるにもかかわらず、新しく出現した LLM を使用して文脈に関連した発話を生成することで、これらのアプリが強化されると考えられます。
この研究では、大阪府（大阪ED）が提供するソーシャルメディア共感カウンセリングデータセットでさらにトレーニングされたTransformerベースの対話モデルとGPTの2種類のLLMを使用して、従来のソクラテス的質問に焦点を当てたCBTシナリオに基づいて対話モジュールを構築します。
-4、OpenAI によって作成された最先端の LLM。
LLM によって生成された応答を使用するシステムと使用しないシステムを比較することで、生成された応答が気分の変化、認知の変化、対話の質 (共感など) などの主観的評価に及ぼす影響を調査します。
結果として、大阪EDモデルを使用した場合には目立った改善は観察されません。
GPT-4 を使用すると、気分の変化、共感、その他の対話の質が大幅に向上します。
この結果は、GPT-4が高いカウンセリング能力を持っていることを示唆しています。
ただし、人間のカウンセリング データセットでトレーニングされた対話モデルを使用した場合でも、シナリオベースの対話と比較して必ずしも良い結果が得られるわけではないことも示しています。
GPT-4 などの LLM で生成された応答を提示し、実際のメンタルヘルスケア サービスでユーザーと直接対話させると倫理的な問題が生じる可能性がありますが、人間の専門家が LLM を使用して応答例や応答テンプレートを事前に作成することは可能です。
ルール、シナリオ、または応答例を使用するシステム。

要約(オリジナル)

Dialogue systems controlled by predefined or rule-based scenarios derived from counseling techniques, such as cognitive behavioral therapy (CBT), play an important role in mental health apps. Despite the need for responsible responses, it is conceivable that using the newly emerging LLMs to generate contextually relevant utterances will enhance these apps. In this study, we construct dialogue modules based on a CBT scenario focused on conventional Socratic questioning using two kinds of LLMs: a Transformer-based dialogue model further trained with a social media empathetic counseling dataset, provided by Osaka Prefecture (OsakaED), and GPT-4, a state-of-the art LLM created by OpenAI. By comparing systems that use LLM-generated responses with those that do not, we investigate the impact of generated responses on subjective evaluations such as mood change, cognitive change, and dialogue quality (e.g., empathy). As a result, no notable improvements are observed when using the OsakaED model. When using GPT-4, the amount of mood change, empathy, and other dialogue qualities improve significantly. Results suggest that GPT-4 possesses a high counseling ability. However, they also indicate that even when using a dialogue model trained with a human counseling dataset, it does not necessarily yield better outcomes compared to scenario-based dialogues. While presenting LLM-generated responses, including GPT-4, and having them interact directly with users in real-life mental health care services may raise ethical issues, it is still possible for human professionals to produce example responses or response templates using LLMs in advance in systems that use rules, scenarios, or example responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google