Reliability Analysis of Psychological Concept Extraction and Classification in User-penned Text

要約

ソーシャル NLP 研究コミュニティは、言語使用と自己認識の間の複雑な相互作用のための責任ある AI モデルを構築するために、メンタルヘルス分析の計算による進歩が最近急増していることを目の当たりにしています。
このような責任ある AI モデルは、ソーシャル メディア上のユーザーが書いたテキストから心理的概念を定量化するのに役立ちます。
低レベル (分類) タスクを超えて考えることにより、既存のバイナリ分類データセットを、説明のレンズを通して信頼性分析という高レベルのタスクに向けて進め、安全対策の 1 つとして位置づけます。
LoST データセットに注釈を付けて、Reddit ユーザーの投稿に自尊心が低いことを示唆する微妙なテキストの手がかりをキャプチャします。
さらに、低い自尊心の有無を判断するために開発された NLP モデルは、次の 3 種類のテキストの手がかりに重点を置いていると述べています。(i) トリガー: 精神的混乱を引き起こす言葉、(ii) LoST 指標: 低い自尊心を強調するテキストの指標。
(iii) 結果: 精神障害の結果を説明する言葉。
既存の分類器を実装して、ドメイン固有の心理学に基づいたタスクの事前トレーニング済み言語モデル (PLM) の注意メカニズムを検査します。
私たちの調査結果は、PLM の焦点をトリガーと結果からより包括的な説明に移し、Reddit の投稿における自尊心の低さを判断しながら LoST 指標を強調する必要があることを示唆しています。

要約(オリジナル)

The social NLP research community witness a recent surge in the computational advancements of mental health analysis to build responsible AI models for a complex interplay between language use and self-perception. Such responsible AI models aid in quantifying the psychological concepts from user-penned texts on social media. On thinking beyond the low-level (classification) task, we advance the existing binary classification dataset, towards a higher-level task of reliability analysis through the lens of explanations, posing it as one of the safety measures. We annotate the LoST dataset to capture nuanced textual cues that suggest the presence of low self-esteem in the posts of Reddit users. We further state that the NLP models developed for determining the presence of low self-esteem, focus more on three types of textual cues: (i) Trigger: words that triggers mental disturbance, (ii) LoST indicators: text indicators emphasizing low self-esteem, and (iii) Consequences: words describing the consequences of mental disturbance. We implement existing classifiers to examine the attention mechanism in pre-trained language models (PLMs) for a domain-specific psychology-grounded task. Our findings suggest the need of shifting the focus of PLMs from Trigger and Consequences to a more comprehensive explanation, emphasizing LoST indicators while determining low self-esteem in Reddit posts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google