Explainability, Interpretability, Depression detection, Social Media

要約

ソーシャル プラットフォームのユーザーは、多くの場合、これらのサイトをメンタルヘルスの問題について投稿するための支援的なスペースとして認識しています。
これらの会話には、個人の健康リスクに関する重要な痕跡が含まれています。
最近、研究者らはこのオンライン情報を利用して、Twitter、Reddit、Facebook などのプラットフォームで危険にさらされているユーザーを特定することを目的としたメンタルヘルス検出モデルを構築しました。
これらのモデルのほとんどは、適切な分類結果を達成することに重点が置かれており、決定の説明可能性と解釈可能性は無視されています。
最近の研究では、医療専門家による計算モデルへの信頼を高めるために、症状の使用などの臨床マーカーを使用することの重要性が指摘されています。
この論文では、トランスフォーマーベースのアーキテクチャを使用して、ユーザーの文章内のうつ病の症状マーカーの出現を検出して説明することを提案します。
$i)$ でモデルを訓練して分類するアプローチ、もう 1 つのアプローチで分類器の決定を個別に説明し、 $ii)$ で 2 つのタスクを 1 つのモデルを使用して同時に統合します。
さらに、後者の方法については、コンテキスト内学習を使用した場合の最近の会話 LLM のパフォーマンスも調査しました。
当社の自然言語による説明により、臨床医は検証された症状に基づいてモデルの決定を解釈できるようになり、自動化されたプロセスに対する信頼性が高まります。
私たちは、最新の症状ベースのデータセットを使用してアプローチを評価し、オフラインとエキスパートインザループの両方のメトリクスを採用して、モデルによって生成された説明の品質を評価します。
実験結果は、解釈可能な症状ベースの説明を生成しながら、良好な分類結果を達成することが可能であることを示しています。

要約(オリジナル)

Users of social platforms often perceive these sites as supportive spaces to post about their mental health issues. Those conversations contain important traces about individuals’ health risks. Recently, researchers have exploited this online information to construct mental health detection models, which aim to identify users at risk on platforms like Twitter, Reddit or Facebook. Most of these models are centred on achieving good classification results, ignoring the explainability and interpretability of the decisions. Recent research has pointed out the importance of using clinical markers, such as the use of symptoms, to improve trust in the computational models by health professionals. In this paper, we propose using transformer-based architectures to detect and explain the appearance of depressive symptom markers in the users’ writings. We present two approaches: $i)$ train a model to classify, and another one to explain the classifier’s decision separately and $ii)$ unify the two tasks simultaneously using a single model. Additionally, for this latter manner, we also investigated the performance of recent conversational LLMs when using in-context learning. Our natural language explanations enable clinicians to interpret the models’ decisions based on validated symptoms, enhancing trust in the automated process. We evaluate our approach using recent symptom-based datasets, employing both offline and expert-in-the-loop metrics to assess the quality of the explanations generated by our models. The experimental results show that it is possible to achieve good classification results while generating interpretable symptom-based explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google