Towards Explainable Multimodal Depression Recognition for Clinical Interviews

要約

最近、臨床インタビュー（MDRC）のマルチモーダルうつ病認識が最近かなりの注目を集めています。
既存のMDRC研究は、主にタスクのパフォーマンスの向上に焦点を当てており、重要な開発を達成しています。
ただし、臨床応用の場合、モデルの透明度が重要であり、以前の研究は意思決定プロセスの解釈可能性を無視しています。
この問題に対処するために、臨床インタビュー（EMDRC）タスクの説明可能なマルチモーダルうつ病認識を提案します。これは、症状を要約し、根本的な原因を明らかにすることにより、うつ病の認識の証拠を提供することを目的としています。
インタビュアーと参加者の相互作用シナリオを考えると、EMDRCの目標は、8項目の患者の健康アンケートうつ病スケール（PHQ-8）に基づいて参加者の症状を要約し、うつ病の重症度を予測することです。
EMDRCタスクに取り組むために、既存のMDRCデータセットに基づいて新しいデータセットを構築します。
さらに、PHQ-8を利用して、発話レベルの症状関連のセマンティック情報をキャプチャして対話レベルの概要を生成するのに役立つPHQに認識されたマルチモーダルマルチタスク学習フレームワークを提案します。
注釈付きデータセットの実験結果は、EMDRCタスク上のベースラインシステムよりも提案された方法の優位性を示しています。

要約(オリジナル)

Recently, multimodal depression recognition for clinical interviews (MDRC) has recently attracted considerable attention. Existing MDRC studies mainly focus on improving task performance and have achieved significant development. However, for clinical applications, model transparency is critical, and previous works ignore the interpretability of decision-making processes. To address this issue, we propose an Explainable Multimodal Depression Recognition for Clinical Interviews (EMDRC) task, which aims to provide evidence for depression recognition by summarizing symptoms and uncovering underlying causes. Given an interviewer-participant interaction scenario, the goal of EMDRC is to structured summarize participant’s symptoms based on the eight-item Patient Health Questionnaire depression scale (PHQ-8), and predict their depression severity. To tackle the EMDRC task, we construct a new dataset based on an existing MDRC dataset. Moreover, we utilize the PHQ-8 and propose a PHQ-aware multimodal multi-task learning framework, which captures the utterance-level symptom-related semantic information to help generate dialogue-level summary. Experiment results on our annotated dataset demonstrate the superiority of our proposed methods over baseline systems on the EMDRC task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google