CPsyCoun: A Report-based Multi-turn Dialogue Reconstruction and Evaluation Framework for Chinese Psychological Counseling

要約

大規模言語モデル (LLM) を使用して心理カウンセリングを支援することは、現時点では重要ですが困難な課題です。
共感的な会話を改善したり、LLM との治療において効果的なアシスタントとして機能したりする試みが行われてきました。
しかし、既存のデータセットにはコンサルティングに関する知識が不足しており、その結果、LLM には専門的なコンサルティング能力が欠けています。
さらに、カウンセリングプロセス内で複数ターンの対話を自動的に評価する方法は、依然として研究が進んでいない分野です。
このギャップを埋めるために、私たちは中国の心理カウンセリングのためのレポートベースのマルチターン対話の再構成と評価のフレームワークである CPsyCoun を提案します。
心理カウンセリングのレポートを最大限に活用するために、質の高い対話を構築するための 2 段階のアプローチが考案され、複数ターンにわたる心理カウンセリングの効果的な自動評価のための包括的な評価ベンチマークが開発されています。
競合する実験結果は、心理カウンセリングにおける私たちの提案したフレームワークの有効性を実証しています。
将来の研究のためにデータセットとモデルを https://github.com/CAS-SIAT-XinHai/CPsyCoun でオープンソース化します。

要約(オリジナル)

Using large language models (LLMs) to assist psychological counseling is a significant but challenging task at present. Attempts have been made on improving empathetic conversations or acting as effective assistants in the treatment with LLMs. However, the existing datasets lack consulting knowledge, resulting in LLMs lacking professional consulting competence. Moreover, how to automatically evaluate multi-turn dialogues within the counseling process remains an understudied area. To bridge the gap, we propose CPsyCoun, a report-based multi-turn dialogue reconstruction and evaluation framework for Chinese psychological counseling. To fully exploit psychological counseling reports, a two-phase approach is devised to construct high-quality dialogues while a comprehensive evaluation benchmark is developed for the effective automatic evaluation of multi-turn psychological consultations. Competitive experimental results demonstrate the effectiveness of our proposed framework in psychological counseling. We open-source the datasets and model for future research at https://github.com/CAS-SIAT-XinHai/CPsyCoun

arxiv情報

提供元, 利用サービス

arxiv.jp, Google