Enhancing Suicide Risk Detection on Social Media through Semi-Supervised Deep Label Smoothing

要約

自殺は社会における顕著な問題です。
残念ながら、自殺の危険にさらされている人の多くは、必要な支援を受けられていません。
支援を受ける人々への障壁としては、社会的偏見やメンタルヘルスケアへのアクセスの欠如などが挙げられます。
ソーシャルメディアの普及により、人々は自分の気持ちを表現したりサポートを求めたりするために Reddit などのオンライン フォーラムに目を向けるようになりました。
これにより、人工知能の助けを借りて人々をサポートする機会が提供されます。
テキスト分類を使用してソーシャル メディアの投稿を分類すると、人々を専門家の助けにつなげることができます。
しかし、これらのシステムは、精神的健康状態を分類する際に内在する不確実性を考慮できていません。
他の医療分野とは異なり、精神的健康状態には病気を客観的に測定する手段がなく、多くの場合専門家の意見に依存しています。
したがって、メンタルヘルスに関わる深層学習の問題を定式化する場合、ハードなバイナリ ラベルを使用しても、データの本当の性質を正確に表すことはできません。
このような状況では、人間の専門家が同意しない可能性があるため、あいまいなラベルやソフトなラベルの方が適切である可能性があります。
現在の研究では、データ内のあらゆる不確実性を捉えるために使用する新しいラベル平滑化手法を導入しています。
5 つのラベルのマルチクラス分類問題でアプローチをテストします。
私たちの半教師ありディープラベル平滑化手法により、分類精度が既存の最先端技術を超えて向上していることがわかります。
既存の研究では Reddit C-SSRS データセットの精度が 43\% であると報告されていますが、実証実験を使用して新しいラベル平滑化手法を評価すると、この既存のベンチマークを 52\% に改善します。
モデルのパフォーマンスにおけるこれらの改善により、精神的苦痛を経験している人々をより適切にサポートできる可能性があります。
今後の研究では、自然言語処理における確率的手法の使用と、ノイズの多いデータセットにおける認識的不確実性と偶然的不確実性の両方の寄与の定量化を検討する必要があります。

要約(オリジナル)

Suicide is a prominent issue in society. Unfortunately, many people at risk for suicide do not receive the support required. Barriers to people receiving support include social stigma and lack of access to mental health care. With the popularity of social media, people have turned to online forums, such as Reddit to express their feelings and seek support. This provides the opportunity to support people with the aid of artificial intelligence. Social media posts can be classified, using text classification, to help connect people with professional help. However, these systems fail to account for the inherent uncertainty in classifying mental health conditions. Unlike other areas of healthcare, mental health conditions have no objective measurements of disease often relying on expert opinion. Thus when formulating deep learning problems involving mental health, using hard, binary labels does not accurately represent the true nature of the data. In these settings, where human experts may disagree, fuzzy or soft labels may be more appropriate. The current work introduces a novel label smoothing method which we use to capture any uncertainty within the data. We test our approach on a five-label multi-class classification problem. We show, our semi-supervised deep label smoothing method improves classification accuracy above the existing state of the art. Where existing research reports an accuracy of 43\% on the Reddit C-SSRS dataset, using empirical experiments to evaluate our novel label smoothing method, we improve upon this existing benchmark to 52\%. These improvements in model performance have the potential to better support those experiencing mental distress. Future work should explore the use of probabilistic methods in both natural language processing and quantifying contributions of both epistemic and aleatoric uncertainty in noisy datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google