ERD: A Framework for Improving LLM Reasoning for Cognitive Distortion Classification

要約

大規模言語モデル (LLM) を利用して心理療法のアクセシビリティを向上させることが、近年大きな注目を集めています。
インタビュー対象者の発話から認知の歪みを認識することは、心理療法、特に認知行動療法の重要な部分となり得ます。
この論文では、(1) 認知の歪みに関連する部分の抽出、(2) 複数のエージェントによる推論ステップの議論の追加モジュールの助けを借りて、LLM ベースの認知の歪み分類パフォーマンスを向上させる ERD を提案します。
公開データセットでの実験結果は、ERD がマルチクラス F1 スコアとバイナリ特異性スコアを改善することを示しています。
後者のスコアに関しては、特にマルチエージェントの議論の要約が LLM に提供される場合、私たちの方法は高い偽陽性率を持つベースライン方法のバイアスを軽減するのに効果的であることがわかります。

要約(オリジナル)

Improving the accessibility of psychotherapy with the aid of Large Language Models (LLMs) is garnering a significant attention in recent years. Recognizing cognitive distortions from the interviewee’s utterances can be an essential part of psychotherapy, especially for cognitive behavioral therapy. In this paper, we propose ERD, which improves LLM-based cognitive distortion classification performance with the aid of additional modules of (1) extracting the parts related to cognitive distortion, and (2) debating the reasoning steps by multiple agents. Our experimental results on a public dataset show that ERD improves the multi-class F1 score as well as binary specificity score. Regarding the latter score, it turns out that our method is effective in debiasing the baseline method which has high false positive rate, especially when the summary of multi-agent debate is provided to LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google