Conversational Topic Recommendation in Counseling and Psychotherapy with Decision Transformer and Large Language Models

要約

メンタルヘルス支援の需要が高まっていることを考えると、人工知能 (AI)、特に大規模言語モデル (LLM) は、自動化された臨床サポート システムに統合するのに価値がある可能性があります。
この研究では、患者と精神保健専門家の間でのカウンセリング会話におけるトピックの推奨に意思決定変換アーキテクチャを活用しています。
このアーキテクチャはオフライン強化学習に利用されており、会話内の以前のターンから状態 (対話ターンの埋め込み)、アクション (会話のトピック)、報酬 (患者とセラピストの間の一致度を測定するスコア) を抽出して、意思決定変換モデルをトレーニングします。
私たちは、ベースラインの強化学習方法の改善を実証し、同じタスクに対して大規模な言語モデルを微調整するための合成ラベルとしてモデルの出力を利用する新しいシステムを提案します。
LLaMA-2 7B に基づいた実装ではさまざまな結果が得られましたが、将来の作業は間違いなくこの設計に基づいて構築される可能性があります。

要約(オリジナル)

Given the increasing demand for mental health assistance, artificial intelligence (AI), particularly large language models (LLMs), may be valuable for integration into automated clinical support systems. In this work, we leverage a decision transformer architecture for topic recommendation in counseling conversations between patients and mental health professionals. The architecture is utilized for offline reinforcement learning, and we extract states (dialogue turn embeddings), actions (conversation topics), and rewards (scores measuring the alignment between patient and therapist) from previous turns within a conversation to train a decision transformer model. We demonstrate an improvement over baseline reinforcement learning methods, and propose a novel system of utilizing our model’s output as synthetic labels for fine-tuning a large language model for the same task. Although our implementation based on LLaMA-2 7B has mixed results, future work can undoubtedly build on the design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google