Multi-modal Depression Estimation based on Sub-attentional Fusion

要約

うつ病をタイムリーに診断して効果的に治療できないと、世界中で2億8000万人以上がこの精神障害に苦しんでいます。
うつ病の情報の手がかりは、音声、視覚、テキストデータなどの多様な異種リソースから収集できるため、自動推定のための新しい効果的なマルチモーダル融合アプローチの需要が高まっています。
この作業では、マルチモーダルデータからうつ病を自動的に識別するタスクに取り組み、畳み込み双方向LSTMをバックボーンとして活用しながら、異種情報をリンクするためのサブアテンションメカニズムを導入します。
この考えを検証するために、さまざまな評価モードを特徴とし、性別固有のバイアスを考慮に入れて、うつ病評価のための公開DAIC-WOZベンチマークで広範な実験を実施します。
提案されたモデルは、大うつ病の検出において0.89の精度と0.70 F1スコア、および重症度の推定において4.92MAEの効果的な結果をもたらします。
私たちの注意ベースの融合モジュールは、従来の遅い融合アプローチを一貫して上回り、以前に公開されたうつ病推定フレームワークと比較して競争力のあるパフォーマンスを達成し、障害をエンドツーエンドで診断することを学び、はるかに少ない前処理ステップに依存します。

要約(オリジナル)

Failure to timely diagnose and effectively treat depression leads to over 280 million people suffering from this psychological disorder worldwide. The information cues of depression can be harvested from diverse heterogeneous resources, e.g., audio, visual, and textual data, raising demand for new effective multi-modal fusion approaches for its automatic estimation. In this work, we tackle the task of automatically identifying depression from multi-modal data and introduce a sub-attention mechanism for linking heterogeneous information while leveraging Convolutional Bidirectional LSTM as our backbone. To validate this idea, we conduct extensive experiments on the public DAIC-WOZ benchmark for depression assessment featuring different evaluation modes and taking gender-specific biases into account. The proposed model yields effective results with 0.89 precision and 0.70 F1-score in detecting major depression and 4.92 MAE in estimating the severity. Our attention-based fusion module consistently outperforms conventional late fusion approaches and achieves a competitive performance compared to the previously published depression estimation frameworks, while learning to diagnose the disorder end-to-end and relying on far less preprocessing steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google