BYHE: A Simple Framework for Boosting End-to-end Video-based Heart Rate Measurement Network

要約

リモート フォトプレチスモグラフィ (rPPG) に基づく心拍数測定は、非接触で制約の少ない方法で顔のビデオから心拍数を推定するヘルスケアにおいて重要な役割を果たします。
エンド ツー エンドのニューラル ネットワークは、rPPG ベースの心拍数推定方法のメイン ブランチであり、その特徴は、元の顔ビデオから十分な心拍数メッセージを含む rPPG 信号を直接回復することです。
ただし、関連するデータセットには、不確実な時間遅延やラベル波の不確定なエンベロープ形状など、エンドツーエンドの方法の効率的なトレーニングを妨げるいくつかの簡単に無視される問題が存在します。
多くの斬新で強力なネットワークが提案されていますが、これまでこれらの問題を掘り下げた体系的な研究はありません。
この論文では、心臓活動から生じる共通の内因性リズム周期的自己相似性の観点から、新しいラベル表現、対応するネットワーク調整、および損失関数を含む包括的な方法論、Boost Your Heartbeat Estimation (BYHE) を提案します。
BYHE は、現在のエンドツーエンド ネットワークに簡単に移植でき、トレーニング効率を高めることができます。
私たちの方法論を適用することで、従来のエンド ツー エンドの方法で必要であったラベル ウェーブ アライメントなどの面倒な手作業を行うことなく、膨大な時間を節約でき、データセットの利用率を高めることができます。
私たちの実験によると、BYHE は従来のエンドツーエンド ネットワークを活用して、主に使用されるデータセットで最先端の方法と競合するパフォーマンスを達成できます。
このような改善は、明確で効率的なラベル表現を選択することも、より良い遠隔生理学的信号測定に向けた有望な方向性であることを示しています。

要約(オリジナル)

Heart rate measuring based on remote photoplethysmography (rPPG) plays an important role in health caring, which estimates heart rate from facial video in a non-contact, less-constrained way. End-to-end neural network is a main branch of rPPG-based heart rate estimation methods, whose trait is recovering rPPG signal containing sufficient heart rate message from original facial video directly. However, there exists some easily neglected problems on relevant datasets which thwarting the efficient training of end-to-end methods, such as uncertain temporal delay and indefinite envelope shape of label waves. Although many novel and powerful networks are proposed, hitherto there are no systematic research digging into these problems. In this paper, from perspective of common intrinsic rhythm periodical self-similarity results from cardiac activities, we propose a comprehensive methodology, Boost Your Heartbeat Estimation (BYHE), including new label representations, corresponding network adjustments and loss functions. BYHE can be easily grafted on current end-to-end network and boost its training efficiency. By applying our methodology, we can save tremendous time without conducting laborious handworks, such as label wave alignment which is necessary for previous end-to-end methods, and meanwhile enhance the utilization on datasets. According to our experiments, BYHE can leverage classical end-to-end network to reach competitive performance against those state-of-the-art methods on mostly used datasets. Such improvement indicates selecting perspicuous and efficient label representation is also a promising direction towards better remote physiological signal measurement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google