PsycoLLM: Enhancing LLM for Psychological Understanding and Evaluation

要約

メンタルヘルスは近年大きな注目を集めており、LLM はテキストの理解と対話の機能により、この問題を軽減するための効果的なテクノロジーとなり得ます。
ただし、この分野の既存の研究は、重要な事前知識や証拠が不足しているデータセットでのトレーニングや、包括的な評価方法の欠如などの制限に悩まされていることがよくあります。
この論文では、シングルターン QA、マルチターン ダイアログ、知識ベース QA を含む、提案された高品質心理データセットに基づいてトレーニングされた、PsycoLLM と呼ばれる特殊な心理大規模言語モデル (LLM) を提案します。
具体的には、生成、証拠判断、洗練という3段階のパイプラインを通じて、マルチターン対話を構築します。
私たちはこのプロセスをオンライン プラットフォームから抽出した現実世界の心理学的事例の背景で強化し、生成されたデータの関連性と適用性を高めます。
さらに、PsycoLLM のパフォーマンスを他の LLM と比較するために、職業倫理、理論的熟練度、事例分析の評価を含む、中国の権威ある心理カウンセリング試験に基づいた包括的な心理ベンチマークを開発しました。
ベンチマークの実験結果は PsycoLLM の有効性を示しており、他の LLM と比較して優れたパフォーマンスを示しています。

要約(オリジナル)

Mental health has attracted substantial attention in recent years and LLM can be an effective technology for alleviating this problem owing to its capability in text understanding and dialogue. However, existing research in this domain often suffers from limitations, such as training on datasets lacking crucial prior knowledge and evidence, and the absence of comprehensive evaluation methods. In this paper, we propose a specialized psychological large language model (LLM), named PsycoLLM, trained on a proposed high-quality psychological dataset, including single-turn QA, multi-turn dialogues and knowledge-based QA. Specifically, we construct multi-turn dialogues through a three-step pipeline comprising generation, evidence judgment, and refinement. We augment this process with real-world psychological case backgrounds extracted from online platforms, enhancing the relevance and applicability of the generated data. Additionally, to compare the performance of PsycoLLM with other LLMs, we develop a comprehensive psychological benchmark based on authoritative psychological counseling examinations in China, which includes assessments of professional ethics, theoretical proficiency, and case analysis. The experimental results on the benchmark illustrates the effectiveness of PsycoLLM, which demonstrates superior performance compared to other LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google