Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions

要約

大規模言語モデル (LLM) を利用したバーチャル カウンセラーは、メンタルヘルスの問題に悩むクライアントを効果的に支援する対話型サポート システムを作成することを目指しています。
カウンセラーとクライアントの会話を再現するために、研究者らはオンラインのメンタルヘルス プラットフォームを構築し、プロのカウンセラーがセッションごとに約 1 時間テキストベースのカウンセリング サービスをクライアントに提供できるようにしました。
その有効性にもかかわらず、人によるアノテーションは時間がかかり、コストがかかり、プライバシーが保護され、拡張性がないため、課題が存在します。
この問題に対処し、心理カウンセリングの会話シミュレーションにおける LLM の適用可能性を調査するために、カウンセラーとクライアントの相互作用をシミュレートするためにロールプレイングを通じて 2 つの LLM を使用するフレームワークを提案します。
私たちのフレームワークには 2 人の LLM が関与しており、1 人は具体的な現実のユーザー プロファイルを備えたクライアントとして機能し、もう 1 人は経験豊富なカウンセラーの役割を果たし、統合療法技術を使用して専門的な応答を生成します。
GPT-4 モデルのゼロショット プロンプトによってカウンセラーとクライアントの両方を実装します。
カウンセラーとクライアントの対話をシミュレートする際の LLM の有効性を評価し、LLM と人間が生成した会話の差異を理解するために、さまざまな観点から合成データを評価します。
まず、自動評価を通じてクライアントのパフォーマンスを評価します。
次に、LLM によって生成された対話と専門のカウンセラーによって生成された対話の間の差異を分析および比較します。
さらに、当社はメンタルヘルスに関する最先端のモデルと比較してベンチマークを行うことにより、合成対話型対話で訓練された LLM ベースのカウンセラーのパフォーマンスを徹底的に調べるための大規模な実験を実施しています。

要約(オリジナル)

Virtual counselors powered by large language models (LLMs) aim to create interactive support systems that effectively assist clients struggling with mental health challenges. To replicate counselor-client conversations, researchers have built an online mental health platform that allows professional counselors to provide clients with text-based counseling services for about an hour per session. Notwithstanding its effectiveness, challenges exist as human annotation is time-consuming, cost-intensive, privacy-protected, and not scalable. To address this issue and investigate the applicability of LLMs in psychological counseling conversation simulation, we propose a framework that employs two LLMs via role-playing for simulating counselor-client interactions. Our framework involves two LLMs, one acting as a client equipped with a specific and real-life user profile and the other playing the role of an experienced counselor, generating professional responses using integrative therapy techniques. We implement both the counselor and the client by zero-shot prompting the GPT-4 model. In order to assess the effectiveness of LLMs in simulating counselor-client interactions and understand the disparities between LLM- and human-generated conversations, we evaluate the synthetic data from various perspectives. We begin by assessing the client’s performance through automatic evaluations. Next, we analyze and compare the disparities between dialogues generated by the LLM and those generated by professional counselors. Furthermore, we conduct extensive experiments to thoroughly examine the performance of our LLM-based counselor trained with synthetic interactive dialogues by benchmarking against state-of-the-art models for mental health.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google