Cognition Chain for Explainable Psychological Stress Detection on Social Media

要約

ストレスは世界的に蔓延している健康問題であり、深刻な精神衛生上の問題を引き起こす可能性があります。
早期発見により、ストレス関連障害のタイムリーな介入と予防が可能になります。
現在の早期発見モデルは「ブラックボックス」推論を実行しており、説明可能性と信頼性が限られているため、実際の臨床応用が妨げられています。
大規模言語モデル (LLM) によって導入された生成プロパティのおかげで、そのようなモデルからの決定と予測は、対応する記述を通じて半解釈可能です。
ただし、既存の LLM のほとんどは、心理的認知理論の指導を受けずに、一般的な目的のために訓練されています。
この目的を達成するために、私たちはまず、ストレス検出用に調整された思考の連鎖によってパフォーマンスが向上するという観察を伴う先行理論の重要性を強調します。
認知チェーンと呼ばれるこの方法は、次の進行パイプラインを備えた認知評価理論に基づく段階的な認知的観点を通じてストレスの生成を説明します: 刺激 $\rightarrow$ 評価 $\rightarrow$ 反応 $\rightarrow$ ストレス状態、LLM を
包括的な推論の説明を提供します。
提案された認知チェーン形式を LLM 命令チューニングの合成データセット生成テンプレートとして利用することによってもたらされる利点をさらに研究し、ストレス検出のための命令チューニング データセットである CogInstruct を紹介します。
このデータセットは、LLM が指導データを自律的に生成および調整できるようにする 3 段階の自己反映型アノテーション パイプラインを使用して開発されています。
CogInstruct を使用して Llama3 を命令チューニングすることにより、説明可能なストレス検出モデルである CogLLM を開発します。
評価では、CogLLM が説明可能性を高めながら優れたパフォーマンスを達成していることが実証されています。
私たちの研究は、認知理論を LLM 推論プロセスに統合することで新しいアプローチに貢献し、将来の説明可能な AI 研究に有望な方向性を提供します。

要約(オリジナル)

Stress is a pervasive global health issue that can lead to severe mental health problems. Early detection offers timely intervention and prevention of stress-related disorders. The current early detection models perform ‘black box’ inference suffering from limited explainability and trust which blocks the real-world clinical application. Thanks to the generative properties introduced by the Large Language Models (LLMs), the decision and the prediction from such models are semi-interpretable through the corresponding description. However, the existing LLMs are mostly trained for general purposes without the guidance of psychological cognitive theory. To this end, we first highlight the importance of prior theory with the observation of performance boosted by the chain-of-thoughts tailored for stress detection. This method termed Cognition Chain explicates the generation of stress through a step-by-step cognitive perspective based on cognitive appraisal theory with a progress pipeline: Stimulus $\rightarrow$ Evaluation $\rightarrow$ Reaction $\rightarrow$ Stress State, guiding LLMs to provide comprehensive reasoning explanations. We further study the benefits brought by the proposed Cognition Chain format by utilising it as a synthetic dataset generation template for LLMs instruction-tuning and introduce CogInstruct, an instruction-tuning dataset for stress detection. This dataset is developed using a three-stage self-reflective annotation pipeline that enables LLMs to autonomously generate and refine instructional data. By instruction-tuning Llama3 with CogInstruct, we develop CogLLM, an explainable stress detection model. Evaluations demonstrate that CogLLM achieves outstanding performance while enhancing explainability. Our work contributes a novel approach by integrating cognitive theories into LLM reasoning processes, offering a promising direction for future explainable AI research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google