CalibrationPhys: Self-supervised Video-based Heart and Respiratory Rate Measurements by Calibrating Between Multiple Cameras

要約

顔のビデオを使用したビデオベースの心拍数と呼吸数の測定は、従来の接触ベースのセンサーよりも便利で使いやすいです。
ただし、現在の深層学習アプローチのほとんどでは、モデルのトレーニングにグラウンドトゥルースのパルスと呼吸波が必要であり、収集にコストがかかります。
この論文では、複数のカメラ間で校正を行う自己監視型ビデオベースの心拍数および呼吸数の測定方法である CalibrationPhys を提案します。
CalibrationPhys は、複数のカメラで同時にキャプチャされた顔のビデオを使用して、教師ありラベルなしで深層学習モデルをトレーニングします。
複数のカメラを用いて同期した映像から予測された脈拍波と呼吸波が正となり、異なる映像から予測された脈拍波と呼吸波が負となるように対比学習を行います。
また、CalibrationPhys は、データ拡張技術によってモデルの堅牢性を向上させ、特定のカメラ用に事前トレーニングされたモデルをうまく活用します。
2 つのデータセットを利用した実験結果は、CalibrationPhys が最先端の心拍数と呼吸数の測定方法よりも優れていることを示しています。
複数のカメラからのビデオのみを使用してカメラ固有のモデルを最適化するため、このアプローチにより、心拍数と呼吸数の測定に任意のカメラを簡単に使用できるようになります。

要約(オリジナル)

Video-based heart and respiratory rate measurements using facial videos are more useful and user-friendly than traditional contact-based sensors. However, most of the current deep learning approaches require ground-truth pulse and respiratory waves for model training, which are expensive to collect. In this paper, we propose CalibrationPhys, a self-supervised video-based heart and respiratory rate measurement method that calibrates between multiple cameras. CalibrationPhys trains deep learning models without supervised labels by using facial videos captured simultaneously by multiple cameras. Contrastive learning is performed so that the pulse and respiratory waves predicted from the synchronized videos using multiple cameras are positive and those from different videos are negative. CalibrationPhys also improves the robustness of the models by means of a data augmentation technique and successfully leverages a pre-trained model for a particular camera. Experimental results utilizing two datasets demonstrate that CalibrationPhys outperforms state-of-the-art heart and respiratory rate measurement methods. Since we optimize camera-specific models using only videos from multiple cameras, our approach makes it easy to use arbitrary cameras for heart and respiratory rate measurements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google