TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes

要約

行動療法のメモは、法的コンプライアンスと患者ケアの両方にとって重要です。
身体的健康の進行状況ノートとは異なり、行動療法のメモの品質基準は未発達のままです。
このギャップに対処するために、私たちは認可されたセラピストと協力して、完全性、簡潔さ、忠実さである重要な次元で治療ノートを評価するための包括的なルーブリックを設計しました。
さらに、Behavioral Healthの会話のパブリックデータセットをセラピスト作成したメモとLLMが生成したメモを拡張し、評価フレームワークを適用して品質を測定します。
（1）ルーブリックベースの手動評価プロトコルは、従来のリッカートスケールの注釈よりも信頼性が高く解釈可能な結果を​​提供します。
（2）LLMSは、完全性と簡潔さを評価する際に人間の評価者を模倣できますが、忠実さと闘うことができます。
（3）セラピストが書いたノートは、しばしば完全性と簡潔さを欠いているが、LLMで生成されたノートには幻覚が含まれている。
驚くべきことに、盲目的な検査では、セラピストはLLMが生成したメモを、セラピストが書いたメモよりも優れていることを好み、判断します。

要約(オリジナル)

Behavioral therapy notes are important for both legal compliance and patient care. Unlike progress notes in physical health, quality standards for behavioral therapy notes remain underdeveloped. To address this gap, we collaborated with licensed therapists to design a comprehensive rubric for evaluating therapy notes across key dimensions: completeness, conciseness, and faithfulness. Further, we extend a public dataset of behavioral health conversations with therapist-written notes and LLM-generated notes, and apply our evaluation framework to measure their quality. We find that: (1) A rubric-based manual evaluation protocol offers more reliable and interpretable results than traditional Likert-scale annotations. (2) LLMs can mimic human evaluators in assessing completeness and conciseness but struggle with faithfulness. (3) Therapist-written notes often lack completeness and conciseness, while LLM-generated notes contain hallucination. Surprisingly, in a blind test, therapists prefer and judge LLM-generated notes to be superior to therapist-written notes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google