Domain-Specific Improvement on Psychotherapy Chatbot Using Assistant

要約

大規模言語モデル(LLM)は、人間が書いた指示データを用いた特定のタスクにおいて、印象的な汎化能力を実証してきた。しかし、そのような指示データの量、多様性、専門的知識が限られているため、領域固有の指示が与えられた場合の心理療法タスクにおけるLLMの性能に懸念が生じる。この問題に対処するため、我々はまず、AlexanderStreet療法に基づく領域特異的なアシスタント指示を提案し、次に、適応微調整法と検索拡張生成法を用いて、事前に訓練されたLLMを改善する。自動評価と人間評価による言語品質の定量的評価を通じて、心理療法アシスタント指示に関する事前訓練されたLLMが、最先端のLLM応答ベースラインを上回ることを確認した。我々のアシスタント・インストラクションのアプローチは、事前訓練されたLLMをインストラクションに整合させ、事前訓練されたLLMにより多くの心理療法知識を提供するハーフアノテーション手法を提供する。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive generalization capabilities on specific tasks with human-written instruction data. However, the limited quantity, diversity, and professional expertise of such instruction data raise concerns about the performance of LLMs in psychotherapy tasks when provided with domain-specific instructions. To address this, we firstly propose Domain-Specific Assistant Instructions based on AlexanderStreet therapy, and secondly, we use an adaption fine-tuning method and retrieval augmented generation method to improve pre-trained LLMs. Through quantitative evaluation of linguistic quality using automatic and human evaluation, we observe that pre-trained LLMs on Psychotherapy Assistant Instructions outperform state-of-the-art LLMs response baselines. Our Assistant-Instruction approach offers a half-annotation method to align pre-trained LLMs with instructions and provide pre-trained LLMs with more psychotherapy knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL