Estimating Quality in Therapeutic Conversations: A Multi-Dimensional Natural Language Processing Framework

要約

クライアントとセラピストの間の関与は、治療的成功の重要な決定要因です。
テキストの成績証明書に基づいたカウンセリングセッションのエンゲージメントの質を客観的に分類する多次元自然言語処理（NLP）フレームワークを提案します。
253の動機付けのインタビュートランスクリプト（150の高品質、103低品質）を使用して、4つのドメインに42の機能を抽出しました：会話ダイナミクス、トピックアライメントとしてのセマンティックな類似性、センチメント分類、および質問検出。
ランダムフォレスト（RF）、キャットブースト、サポートベクターマシン（SVM）を含む分類器を、層状の5倍の交差検証を使用してハイパーパラメーターを調整および訓練し、ホールドアウトテストセットで評価しました。
バランスの取れた（非能力）データでは、RFは最高の分類精度（76.7％）を達成し、SVMは最高のAUC（85.4％）を達成しました。
Smote-Tomekの増強後、パフォーマンスは大幅に向上しました。RFは最大88.9％の精度、90.0％F1スコア、94.6％AUCを達成し、SVMは81.1％の精度、83.1％F1スコア、および93.6％AUCに達しました。
拡張データの結果は、将来の大規模アプリケーションにおけるフレームワークの可能性を反映しています。
フィーチャーの貢献により、会話のダイナミクスとセマンティックな類似性がクライアントとセラピストの間のセマンティックな類似性が明らかになりました。
フレームワークは、元のデータセットと拡張データセット全体で堅牢であり、F1スコアとリコールの一貫した改善を実証しました。
現在、テキストベースでは、フレームワークは、より多くの全体的な評価のために、将来のマルチモーダル拡張機能（声のトーン、顔の影響など）をサポートしています。
この作業では、治療セッションのエンゲージメント品質を評価するためのスケーラブルなデータ駆動型の方法を紹介し、臨床医に仮想および対面の治療相互作用の品質を高めるためのリアルタイムフィードバックを提供します。

要約(オリジナル)

Engagement between client and therapist is a critical determinant of therapeutic success. We propose a multi-dimensional natural language processing (NLP) framework that objectively classifies engagement quality in counseling sessions based on textual transcripts. Using 253 motivational interviewing transcripts (150 high-quality, 103 low-quality), we extracted 42 features across four domains: conversational dynamics, semantic similarity as topic alignment, sentiment classification, and question detection. Classifiers, including Random Forest (RF), Cat-Boost, and Support Vector Machines (SVM), were hyperparameter tuned and trained using a stratified 5-fold cross-validation and evaluated on a holdout test set. On balanced (non-augmented) data, RF achieved the highest classification accuracy (76.7%), and SVM achieved the highest AUC (85.4%). After SMOTE-Tomek augmentation, performance improved significantly: RF achieved up to 88.9% accuracy, 90.0% F1-score, and 94.6% AUC, while SVM reached 81.1% accuracy, 83.1% F1-score, and 93.6% AUC. The augmented data results reflect the potential of the framework in future larger-scale applications. Feature contribution revealed conversational dynamics and semantic similarity between clients and therapists were among the top contributors, led by words uttered by the client (mean and standard deviation). The framework was robust across the original and augmented datasets and demonstrated consistent improvements in F1 scores and recall. While currently text-based, the framework supports future multimodal extensions (e.g., vocal tone, facial affect) for more holistic assessments. This work introduces a scalable, data-driven method for evaluating engagement quality of the therapy session, offering clinicians real-time feedback to enhance the quality of both virtual and in-person therapeutic interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google