FastBVP-Net: a lightweight pulse extraction network for measuring heart rhythm via facial videos

要約

リモート フォトプレチスモグラフィ (rPPG) は、顔のビデオから心臓のリズムを測定できる魅力的なカメラ ベースの健康監視方法です。
心拍数 (HR) と心拍変動 (HRV) を測定するために、確立された多くの深層学習モデルが報告されています。
ただし、これらのモデルのほとんどは通常、正確で堅牢な結果を得るために 30 秒の顔のビデオと膨大な計算リソースを必要とするため、現実世界のシナリオでの適用が大幅に制限されます。
したがって、顔のビデオを介して心臓のリズムをすばやく測定するために、軽量のパルス抽出ネットワーク、FastBVP-Net を提案します。
提案された FastBVP-Net は、多周波数モード信号融合 (MMSF) メカニズムを使用して、分解モジュールで生信号のさまざまなモードを特徴付け、構成モジュールで複雑なノイズ環境下で血液量パルス (BVP) 信号を再構築します。
一方、データセットの制限によって引き起こされるオーバーフィッティングの問題を解決するために、オーバーサンプリング トレーニング スキームが使用されます。
次に、抽出された BVP 信号に基づいて HR と HRV を推定できます。
提案された FastBVP-Net を検証するために、ベンチマーク データセットに対して包括的な実験が行われます。
データセット内およびデータセット間のテストでは、提案されたアプローチは、現在確立されている方法よりも少ない計算負荷で、30 秒の顔のビデオからの HR および HRV 推定のパフォーマンスを向上させます。
さらに、提案されたアプローチは、15 秒の顔のビデオからも競争力のある結果を達成します。
したがって、提案された FastBVP-Net は、より短いビデオを使用する多くの現実世界のシナリオに適用される可能性があります。

要約(オリジナル)

Remote photoplethysmography (rPPG) is an attractive camera-based health monitoring method that can measure the heart rhythm from facial videos. Many well-established deep-learning models have been reported to measure heart rate (HR) and heart rate variability (HRV). However, most of these models usually require a 30-second facial video and enormous computational resources to obtain accurate and robust results, which significantly limits their applications in real-world scenarios. Hence, we propose a lightweight pulse extraction network, FastBVP-Net, to quickly measure heart rhythm via facial videos. The proposed FastBVP-Net uses a multi-frequency mode signal fusion (MMSF) mechanism to characterize the different modes of the raw signals in a decompose module and reconstruct the blood volume pulse (BVP) signal under a complex noise environment in a compose module. Meanwhile, an oversampling training scheme is used to solve the over-fitting problem caused by the limitations of the datasets. Then, the HR and HRV can be estimated based on the extracted BVP signals. Comprehensive experiments are conducted on the benchmark datasets to validate the proposed FastBVP-Net. For intra-dataset and cross-dataset testing, the proposed approach achieves better performance for HR and HRV estimation from 30-second facial videos with fewer computational burdens than the current well-established methods. Moreover, the proposed approach also achieves competitive results from 15-second facial videos. Therefore, the proposed FastBVP-Net has the potential to be applied in many real-world scenarios with shorter videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google