Depression Recognition using Remote Photoplethysmography from Facial Videos

要約

うつ病は、個人の健康を害する可能性のある精神疾患です。精神疾患の早期発見と正確な診断は、社会的、生理的、あるいは心理的な副作用を避けるために非常に重要である。本研究では、生理信号を解析し、異なる抑うつ状態が血液量脈波（BVP）および心拍変動（HRV）反応に顕著な影響を与えるかどうかを観察する。一般的に、HRVの特徴は、ウェアラブルなどの接触型センサーで得られた生体信号から計算されますが、我々は代わりに、接触型デバイスを必要とせず、視覚情報のみに基づいて、顔動画から直接抽出する新しいスキームを提案します。本ソリューションは、完全な教師なし方式で遠隔光電センサ信号（rPPG）を抽出するパイプラインをベースにしています。これらのrPPG信号を用いて、60以上の統計的、幾何学的、生理学的特徴を計算し、さらに、異なる抑うつレベルを認識するためのいくつかの機械学習リグレッサーを訓練するために使用されます。2つのベンチマークデータセットにおける実験から、本アプローチは音声や顔の表情に基づく他の視聴覚モダリティと同等の結果を提供し、それらを補完する可能性があることが示された。さらに、提案手法で得られた結果は、手作業で設計された手法を上回り、深層学習ベースのアプローチに匹敵する、有望で堅実な性能を示している。

要約(オリジナル)

Depression is a mental illness that may be harmful to an individual’s health. The detection of mental health disorders in the early stages and a precise diagnosis are critical to avoid social, physiological, or psychological side effects. This work analyzes physiological signals to observe if different depressive states have a noticeable impact on the blood volume pulse (BVP) and the heart rate variability (HRV) response. Although typically, HRV features are calculated from biosignals obtained with contact-based sensors such as wearables, we propose instead a novel scheme that directly extracts them from facial videos, just based on visual information, removing the need for any contact-based device. Our solution is based on a pipeline that is able to extract complete remote photoplethysmography signals (rPPG) in a fully unsupervised manner. We use these rPPG signals to calculate over 60 statistical, geometrical, and physiological features that are further used to train several machine learning regressors to recognize different levels of depression. Experiments on two benchmark datasets indicate that this approach offers comparable results to other audiovisual modalities based on voice or facial expression, potentially complementing them. In addition, the results achieved for the proposed method show promising and solid performance that outperforms hand-engineered methods and is comparable to deep learning-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL