ReViSe: Remote Vital Signs Measurement Using Smartphone Camera

要約

ユーザーのビデオからの rPPG 方法論に基づいて、心拍数 (HR)、心拍変動 (HRV)、酸素飽和度 (SpO2)、血圧 (BP) を含む人々 のバイタル サインを測定するためのエンド ツー エンドのフレームワークを提案します。
スマホのカメラで撮った顔。
深層学習ベースのニューラル ネットワーク モデルを使用してリアルタイムで顔のランドマークを抽出します。
関心領域 (RoI) とも呼ばれる複数の顔パッチは、予測された顔ランドマークを使用して抽出されます。
血液量パルス (BVP) 信号と呼ばれる抽出された心臓信号の RoI からのノイズを低減するために、いくつかのフィルターが適用されます。
HR、HRV、および SpO2 の測定値は、TokyoTech rPPG と Pulse Rate Detection (PURE) データセットという 2 つの公開 rPPG データセットで検証されており、モデルは次の平均絶対誤差 (MAE) を達成しました。
-それぞれ毎分 (bpm) と 3.95bpm;
b) HRV はそれぞれ 18.55ms と 25.03ms、c) SpO2 は PURE データセットで 1.64% の MAE。
エンドツーエンドの rPPG フレームワークである ReViSe を日常生活環境で検証し、Video-HR データセットを作成しました。
私たちの HR 推定モデルは、このデータセットで 2.49bpm の MAE を達成しました。
顔ビデオを使用した血圧測定用に公開されている rPPG データセットが存在しなかったため、指先センサーからの信号を含むデータセットを使用して、深層学習ベースの血圧推定モデルをトレーニングし、独自のビデオ データセット Video-BP も作成しました。
Video-BP データセットでは、BP 推定モデルは収縮期血圧 (SBP) で 6.7mmHg の MAE、拡張期血圧 (DBP) で 9.6mmHg の MAE を達成しました。
ReViSe フレームワークは、ほとんどの最先端技術で報告されているノイズの少ない実験室環境とは対照的に、日常生活環境で記録されたビデオを含むデータセットで検証されています。

要約(オリジナル)

We propose an end-to-end framework to measure people’s vital signs including Heart Rate (HR), Heart Rate Variability (HRV), Oxygen Saturation (SpO2) and Blood Pressure (BP) based on the rPPG methodology from the video of a user’s face captured with a smartphone camera. We extract face landmarks with a deep learning-based neural network model in real-time. Multiple face patches also called Regions-of-Interest (RoIs) are extracted by using the predicted face landmarks. Several filters are applied to reduce the noise from the RoIs in the extracted cardiac signals called Blood Volume Pulse (BVP) signal. The measurements of HR, HRV and SpO2 are validated on two public rPPG datasets namely the TokyoTech rPPG and the Pulse Rate Detection (PURE) datasets, on which our models achieved the following Mean Absolute Errors (MAE): a) for HR, 1.73Beats-Per-Minute (bpm) and 3.95bpm respectively; b) for HRV, 18.55ms and 25.03ms respectively, and c) for SpO2, an MAE of 1.64% on the PURE dataset. We validated our end-to-end rPPG framework, ReViSe, in daily living environment, and thereby created the Video-HR dataset. Our HR estimation model achieved an MAE of 2.49bpm on this dataset. Since no publicly available rPPG datasets existed for BP measurement with face videos, we used a dataset with signals from fingertip sensor to train our deep learning-based BP estimation model and also created our own video dataset, Video-BP. On our Video-BP dataset, our BP estimation model achieved an MAE of 6.7mmHg for Systolic Blood Pressure (SBP), and an MAE of 9.6mmHg for Diastolic Blood Pressure (DBP). ReViSe framework has been validated on datasets with videos recorded in daily living environment as opposed to less noisy laboratory environment as reported by most state-of-the-art techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google