Recovering Pulse Waves from Video Using Deep Unrolling and Deep Equilibrium Models

要約

イメージングフォトプレチスモグラフィ（IPPG）とも呼ばれるバイタルサインのカメラベースの監視では、ドライバーモニタリング、外科的設定での灌流評価、感情コンピューティングなどの用途があります。
IPPGは、皮膚のビデオから基礎となる心臓パルスを検知し、心拍数や完全なパルス波形などのバイタルサインを推定することを伴います。
以前のIPPGメソッドの中には、パルス信号にモデルベースのスパースプリエを課し、パルス波の回復に反復的最適化を使用しますが、他の方法はエンドツーエンドのブラックボックスディープラーニング方法を使用します。
対照的に、逆の問題フレームワークで信号処理と深い学習方法を組み合わせた方法を紹介します。
私たちの方法では、深いアルゴリズムの展開と深い平衡モデルを活用する深いネットワークベースの除去演算子を学習することにより、顔のビデオからの基礎となるパルス信号と心拍数を推定します。
実験では、私たちの方法が顔から取得した信号を除去し、正しい基礎となるパルス速度を推測し、有名なベンチマークで最先端の心拍数推定パフォーマンスを達成することができることを示しています。

要約(オリジナル)

Camera-based monitoring of vital signs, also known as imaging photoplethysmography (iPPG), has seen applications in driver-monitoring, perfusion assessment in surgical settings, affective computing, and more. iPPG involves sensing the underlying cardiac pulse from video of the skin and estimating vital signs such as the heart rate or a full pulse waveform. Some previous iPPG methods impose model-based sparse priors on the pulse signals and use iterative optimization for pulse wave recovery, while others use end-to-end black-box deep learning methods. In contrast, we introduce methods that combine signal processing and deep learning methods in an inverse problem framework. Our methods estimate the underlying pulse signal and heart rate from facial video by learning deep-network-based denoising operators that leverage deep algorithm unfolding and deep equilibrium models. Experiments show that our methods can denoise an acquired signal from the face and infer the correct underlying pulse rate, achieving state-of-the-art heart rate estimation performance on well-known benchmarks, all with less than one-fifth the number of learnable parameters as the closest competing method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google