Trust Modeling in Counseling Conversations: A Benchmark Study

要約

メンタルヘルスカウンセリングでは、これまでのさまざまな研究が対話モデルに焦点を当ててきました。
しかし、これらの研究のほとんどは、患者とセラピストの間の相互作用の質については限定的、またはまったく重点を置いていません。
患者とセラピストの間の治療上の絆は、効果的なメンタルヘルスカウンセリングと直接相関しています。
カウンセリングを通じてセラピストに対する患者の信頼を育むことが含まれます。
カウンセリングにおける治療上の絆を評価するために、セラピストを支援する指標として信頼を導入します。
私たちの信頼の定義には、患者が自分自身を表現する意欲と率直さが含まれており、その結果、より良いケアを受けられます。
私たちはそれを、カウンセリング中のテキストのやりとりを通じて観察できる動的な軌跡として概念化します。
信頼モデリングを容易にするために、専門家によって検証された初の 7 つの通常の信頼レベルを備えた 212 のカウンセリング セッションの手動アノテーションで構成される新しいカウンセリング データセットである MENTAL-TRUST を紹介します。
私たちは問題ステートメントを信頼の定量化のための順序分類タスクとして投影し、MENTAL-TRUST の古典的および最先端の言語モデルのスイートで構成される新しいベンチマーク TrustBench を提案します。
私たちは一連の指標全体でパフォーマンスを評価し、網羅的な一連の結果を提示します。
私たちの研究は、治療上の相互作用において信頼がどのように進化するかを明らかにすることを目的としています。

要約(オリジナル)

In mental health counseling, a variety of earlier studies have focused on dialogue modeling. However, most of these studies give limited to no emphasis on the quality of interaction between a patient and a therapist. The therapeutic bond between a patient and a therapist directly correlates with effective mental health counseling. It involves developing the patient’s trust on the therapist over the course of counseling. To assess the therapeutic bond in counseling, we introduce trust as a therapist-assistive metric. Our definition of trust involves patients’ willingness and openness to express themselves and, consequently, receive better care. We conceptualize it as a dynamic trajectory observable through textual interactions during the counseling. To facilitate trust modeling, we present MENTAL-TRUST, a novel counseling dataset comprising manual annotation of 212 counseling sessions with first-of-its-kind seven expert-verified ordinal trust levels. We project our problem statement as an ordinal classification task for trust quantification and propose a new benchmark, TrustBench, comprising a suite of classical and state-of-the-art language models on MENTAL-TRUST. We evaluate the performance across a suite of metrics and lay out an exhaustive set of findings. Our study aims to unfold how trust evolves in therapeutic interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google