Psychotherapy AI Companion with Reinforcement Learning Recommendations and Interpretable Policy Dynamics

要約

患者の反応に基づいてセラピスト向けのトピックの推奨事項を生成する強化学習心理療法 AI コンパニオンを紹介します。
このシステムは深層強化学習 (DRL) を使用して、不安、うつ病、統合失調症、自殺の 4 つの異なる精神状態に対する多目的ポリシーを生成します。
作業アライアンス評価の 3 つの異なるスケール (タスク、絆、および目標) を使用して、推奨トピックの精度に関する実験結果を提示します。
システムが実際のデータ (セラピストによって議論された歴史的なトピック) を比較的うまくキャプチャできること、および最高のパフォーマンスを発揮するモデルが障害と評価尺度によって異なることを示します。
学習したポリシーについて解釈可能な洞察を得るために、2D 主成分分析空間と遷移行列でポリシーの軌跡を視覚化します。
これらの視覚化により、さまざまな報酬シグナルでトレーニングされ、さまざまな臨床診断でトレーニングされたポリシーの異なるパターンが明らかになります。
障害固有の多目的ポリシー（DISMOP）と解釈可能なポリシーダイナミクスの生成における当社のシステムの成功は、パーソナライズされた効率的な治療推奨を提供するDRLの可能性を示しています。

要約(オリジナル)

We introduce a Reinforcement Learning Psychotherapy AI Companion that generates topic recommendations for therapists based on patient responses. The system uses Deep Reinforcement Learning (DRL) to generate multi-objective policies for four different psychiatric conditions: anxiety, depression, schizophrenia, and suicidal cases. We present our experimental results on the accuracy of recommended topics using three different scales of working alliance ratings: task, bond, and goal. We show that the system is able to capture the real data (historical topics discussed by the therapists) relatively well, and that the best performing models vary by disorder and rating scale. To gain interpretable insights into the learned policies, we visualize policy trajectories in a 2D principal component analysis space and transition matrices. These visualizations reveal distinct patterns in the policies trained with different reward signals and trained on different clinical diagnoses. Our system’s success in generating DIsorder-Specific Multi-Objective Policies (DISMOP) and interpretable policy dynamics demonstrates the potential of DRL in providing personalized and efficient therapeutic recommendations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google