Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces

要約

タイトル：Face2PPG：顔からの血液容積パルス抽出のための非監視パイプライン
要約：
– PPG信号は、医療、ウェルビーイング、スポーツなどの多くの分野で重要な技術となっている。
– 本研究では、顔から遠隔PPG信号（rPPG）を堅牢で信頼性があり、設定可能な一連のパイプラインを提案している。
– 非監視rPPG手法の重要なステップで可能な選択肢を特定し、評価している。
– 新しい手法を3つ提案し、それらを既存のパイプラインに取り込んでいる。
– 3つの変更がともにrPPG信号の回収に顕著な改善をもたらすことを示している。
– 監視学習に基づく方法に非常に近い結果を得て、非監視学習ベースの手法と比較した場合、最新の結果を得ることができる。
– 各提案されたアイデアの寄与を定量化するための比較研究を行っている。
– 今後の実装に役立つ可能性のある一連の観察を描いている。

要約(オリジナル)

Photoplethysmography (PPG) signals have become a key technology in many fields, such as medicine, well-being, or sports. Our work proposes a set of pipelines to extract remote PPG signals (rPPG) from the face robustly, reliably, and configurable. We identify and evaluate the possible choices in the critical steps of unsupervised rPPG methodologies. We assess a state-of-the-art processing pipeline in six different datasets, incorporating important corrections in the methodology that ensure reproducible and fair comparisons. In addition, we extend the pipeline by proposing three novel ideas; 1) a new method to stabilize the detected face based on a rigid mesh normalization; 2) a new method to dynamically select the different regions in the face that provide the best raw signals, and 3) a new RGB to rPPG transformation method, called Orthogonal Matrix Image Transformation (OMIT) based on QR decomposition, that increases robustness against compression artifacts. We show that all three changes introduce noticeable improvements in retrieving rPPG signals from faces, obtaining state-of-the-art results compared with unsupervised, non-learning-based methodologies and, in some databases, very close to supervised, learning-based methods. We perform a comparative study to quantify the contribution of each proposed idea. In addition, we depict a series of observations that could help in future implementations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI