Objective quantification of mood states using large language models

要約

感情的な状態は、人間の行動と認知に影響を与え、多様な思考の軌跡につながります。
同様に、大規模な言語モデル（LLMS）は、広範囲のコンテキスト（プロンプト）にわたって優れたレベルの応答の一貫性を示しています。
これらの類似点を活用して、精神状態を定量化するためのフレームワークを確立します。
私たちのアプローチは、共起する反応のパターンに対する固有の感度のために、これらの状態を確実に評価する自己報告アンケートを利用しています。
具体的には、参加者の大規模なサンプル（n = 422）を募集して、LLM（Mistral-7B-Openorca）が、うつ病アンケートに対する参加者の自由回答式回答で測定された抑うつ雰囲気の異種セットをどの程度定量化するかを調査しました。
参加者の自由回答形式の回答を考慮して、保有されている多肢選択式の質問に対するLLMの回答を示し、真のアンケートスコアと強く相関し（r：0.52-0.84）、気分表現からのLLMの一般化を実証します。
これらの表現と因子分析の間のリンクを探ります。
尾根回帰を使用して、LLM隠された状態内にうつ病関連のサブスペースを見つけます。
これらのサブスペースは、参加者の「うつ病」と「体性および感情的苦痛」因子スコア、および自殺の重症度を予測することを示しています。
全体として、LLMは精神状態の定量的尺度を提供できます。
これらのヒンジの信頼性は、参加者にどれほど有益であるかについてのヒンジがあります。
正しく使用されているこのアプローチは、さまざまな設定で精神状態の評価を補う可能性があります。

要約(オリジナル)

Emotional states influence human behaviour and cognition, leading to diverse thought trajectories. Similarly, Large Language Models (LLMs) showcase an excellent level of response consistency across wide-ranging contexts (prompts). We leverage these parallels to establish a framework for quantifying mental states. Our approach utilises self-report questionnaires that reliably assess these states due to their inherent sensitivity to patterns of co-occurring responses. Specifically, we recruited a large sample of participants (N=422) to investigate how well an LLM (Mistral-7B-OpenOrca) quantifies a heterogenous set of depressive mood states measured with participants’ open-ended responses to a depression questionnaire. We show LLM responses to held-out multiple-choice questions, given participants’ open-ended answers, correlate strongly (r: 0.52-0.84) with true questionnaire scores, demonstrating LLM’s generalisation from mood representations. We explore a link between these representations and factor analysis. Using ridge regression, we find depression-related subspaces within LLM hidden states. We show these subspaces to be predictive of participants’ ‘Depression’ and ‘Somatic & Emotional Distress’ factor scores, as well as suicidality severity. Overall, LLMs can provide quantitative measures of mental states. The reliability of these hinges upon how informative the questions we ask participants are. Used correctly, this approach could supplement mental state assessment in a variety of settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google