Does Rationale Quality Matter? Enhancing Mental Disorder Detection via Selective Reasoning Distillation

要約

ソーシャルメディアからのメンタルヘルスの問題の検出とこれらの結果の解釈は、広く調査されています。
研究により、臨床症状情報をモデルに組み込むことでドメインの専門知識が向上し、検出と解釈のパフォーマンスが向上することが示されています。
大規模な言語モデル（LLM）は、メンタルヘルスの検出における説明的理論的根拠を生成するのに効果的であることが示されていますが、それらの実質的に大きなパラメーターサイズと高い計算コストは​​実用性を制限します。
推論蒸留は、この能力をより小さな言語モデル（SLM）に転送しますが、LLMで生成された理論的根拠の関連性とドメインのアラインメントにおける矛盾は課題をもたらします。
このペーパーでは、理論的品質がメンタルヘルスの検出と説明生成におけるSLMのパフォーマンスにどのように影響するかを調査します。
高品質でドメインに関連する理論的根拠を確保することで蒸留が強化されると仮定します。
この目的のために、専門家の臨床推論との整合に基づいて理論的根拠を選択するフレームワークを提案します。
実験は、私たちの品質中心のアプローチが、精神障害の検出と理論的生成の両方でSLMパフォーマンスを大幅に向上させることを示しています。
この作業は、理論的品質の重要性を強調し、メンタルヘルスアプリケーションにおける知識移転のための洞察に満ちたフレームワークを提供します。

要約(オリジナル)

The detection of mental health problems from social media and the interpretation of these results have been extensively explored. Research has shown that incorporating clinical symptom information into a model enhances domain expertise, improving its detection and interpretation performance. While large language models (LLMs) are shown to be effective for generating explanatory rationales in mental health detection, their substantially large parameter size and high computational cost limit their practicality. Reasoning distillation transfers this ability to smaller language models (SLMs), but inconsistencies in the relevance and domain alignment of LLM-generated rationales pose a challenge. This paper investigates how rationale quality impacts SLM performance in mental health detection and explanation generation. We hypothesize that ensuring high-quality and domain-relevant rationales enhances the distillation. To this end, we propose a framework that selects rationales based on their alignment with expert clinical reasoning. Experiments show that our quality-focused approach significantly enhances SLM performance in both mental disorder detection and rationale generation. This work highlights the importance of rationale quality and offers an insightful framework for knowledge transfer in mental health applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google