Time-Series U-Net with Recurrence for Noise-Robust Imaging Photoplethysmography

要約

バイタルサインのリモート推定により、コンタクトベースのデバイスが利用できない、邪魔すぎる、または高すぎる状況の健康監視が可能になります。
このホワイトペーパーでは、公開されているデータセットで最先端の結果を達成する顔のビデオからのパルス信号推定のモジュール式、解釈可能なパイプラインを提示します。私たちのイメージングフォトプレチスモグラフィ（IPPG）システムは、顔とランドマークの検出、時期抽出、パルス信号/パルス率の推定の3つのモジュールで構成されています。
入力ビデオから出力信号または心拍数に直接マッピングする単一のブラックボックスモデルを使用する多くの深い学習方法とは異なり、モジュラーアプローチにより、パイプラインの3つの部分を個別に解釈できます。
カブ（ノイズロボストイメージングフォトプレチスモグラフィの再発を伴うタイムシリーズU-NET）と呼ばれるパルス信号推定モジュールにより、システムは基礎となるパルス信号波形を忠実に再構築し、動きの存在であっても心拍数とパルスレートの変動性メトリックを測定するために使用できます。
極端なヘッドポーズのために顔の一部が閉塞されると、システムはそのような「自己閉鎖」領域を明示的に検出し、情報が欠落しているにもかかわらず推定の堅牢性を維持します。
私たちのアルゴリズムは、特殊なセンサーや皮膚との接触を必要とせずに信頼できる心拍数の推定値を提供し、色（RGB）と近赤外（NIR）データセットの両方で以前のIPPGメソッドを上回ります。

要約(オリジナル)

Remote estimation of vital signs enables health monitoring for situations in which contact-based devices are either not available, too intrusive, or too expensive. In this paper, we present a modular, interpretable pipeline for pulse signal estimation from video of the face that achieves state-of-the-art results on publicly available datasets.Our imaging photoplethysmography (iPPG) system consists of three modules: face and landmark detection, time-series extraction, and pulse signal/pulse rate estimation. Unlike many deep learning methods that make use of a single black-box model that maps directly from input video to output signal or heart rate, our modular approach enables each of the three parts of the pipeline to be interpreted individually. The pulse signal estimation module, which we call TURNIP (Time-Series U-Net with Recurrence for Noise-Robust Imaging Photoplethysmography), allows the system to faithfully reconstruct the underlying pulse signal waveform and uses it to measure heart rate and pulse rate variability metrics, even in the presence of motion. When parts of the face are occluded due to extreme head poses, our system explicitly detects such ‘self-occluded’ regions and maintains estimation robustness despite the missing information. Our algorithm provides reliable heart rate estimates without the need for specialized sensors or contact with the skin, outperforming previous iPPG methods on both color (RGB) and near-infrared (NIR) datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google