Non-contact PPG Signal and Heart Rate Estimation with Multi-hierarchical Convolutional Network

要約

タイトル：マルチヒエラルキーコンボリューションネットワークによる非接触PPG信号と心拍数の推定
要約：
– 心拍リズムと心拍数は、人体の重要な生理学的パラメータである。
– この研究では、顔のビデオクリップから遠隔生理学的（rPPG）信号とHRを迅速に推定するための効率的なマルチヒエラルキカルスパティオテンポラルコンボリューションネットワークが提案される。
– まず、低レベルの顔特徴生成（LFFG）モジュールを使用して、顔の色分布特性が抽出される。
– 次に、3Dスペーシャルテンポラルスタックコンボリューションモジュール（STSC）とマルチヒエラルキカルフィーチャフュージョンモジュール（MHFF）が使用され、マルチチャンネルフィーチャのスペーシャルテンポラル相関を強化する。
– MHFFでは、顔のフレーム間の微小な動き情報を捕捉し、自己適応的なROIスキンマスクを生成するためにスパースオプティカルフローが使用される。
– 最後に、信号予測モジュール（SP）が使用され、推定されたrPPG信号が抽出される。
– 心拍数の推定結果は、UBFC-RPPG、COHFACE、および当社のデータセットの平均絶対誤差（MAE）が、それぞれ2.15、5.57、1.75 bpmで、提案されたネットワークが3つのデータセットで最新の手法を上回っていることを示している。

要約(オリジナル)

Heartbeat rhythm and heart rate (HR) are important physiological parameters of the human body. This study presents an efficient multi-hierarchical spatio-temporal convolutional network that can quickly estimate remote physiological (rPPG) signal and HR from face video clips. First, the facial color distribution characteristics are extracted using a low-level face feature generation (LFFG) module. Then, the three-dimensional (3D) spatio-temporal stack convolution module (STSC) and multi-hierarchical feature fusion module (MHFF) are used to strengthen the spatio-temporal correlation of multi-channel features. In the MHFF, sparse optical flow is used to capture the tiny motion information of faces between frames and generate a self-adaptive region of interest (ROI) skin mask. Finally, the signal prediction module (SP) is used to extract the estimated rPPG signal. The heart rate estimation results show that the proposed network overperforms the state-of-the-art methods on three datasets, 1) UBFC-RPPG, 2) COHFACE, 3) our dataset, with the mean absolute error (MAE) of 2.15, 5.57, 1.75 beats per minute (bpm) respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI