SCAMPS: Synthetics for Camera Measurement of Physiological Signals

要約

カメラと計算アルゴリズムを用いて、非侵襲的かつ低コストでスケーラブルに生理的（心臓や肺など）なバイタルサインを測定することは非常に魅力的である。しかし、様々な環境、体の動き、照明条件、生理状態を表す多様なデータを得るには、手間と時間、コストがかかる。合成データは、機械学習の様々な分野で有用なツールであることが証明されていますが、生理状態のカメラ計測には広く利用されていません。合成データは、「完璧な」ラベル（例えば、ノイズがなく、正確な同期がとれている）、他の方法では得られないラベル（例えば、正確なピクセルレベルのセグメンテーションマップ）、データセット内の変動や多様性を高度に制御することができる。我々は、心拍信号、呼吸信号、顔面動作強度が揃った2800本のビデオ（168万フレーム）を含む合成のデータセットであるSCAMPSを紹介する。RGBフレームはセグメンテーションマップと一緒に提供される。また、心拍間隔、心拍変動、脈拍到達時間など、基礎となる波形に関する正確な記述的統計量を提供する。最後に、これらの合成データで学習し、実世界のデータセットでテストしたベースライン結果を示し、一般化可能性を説明する。

要約(オリジナル)

The use of cameras and computational algorithms for noninvasive, low-cost and scalable measurement of physiological (e.g., cardiac and pulmonary) vital signs is very attractive. However, diverse data representing a range of environments, body motions, illumination conditions and physiological states is laborious, time consuming and expensive to obtain. Synthetic data have proven a valuable tool in several areas of machine learning, yet are not widely available for camera measurement of physiological states. Synthetic data offer ‘perfect’ labels (e.g., without noise and with precise synchronization), labels that may not be possible to obtain otherwise (e.g., precise pixel level segmentation maps) and provide a high degree of control over variation and diversity in the dataset. We present SCAMPS, a dataset of synthetics containing 2,800 videos (1.68M frames) with aligned cardiac and respiratory signals and facial action intensities. The RGB frames are provided alongside segmentation maps. We provide precise descriptive statistics about the underlying waveforms, including inter-beat interval, heart rate variability, and pulse arrival time. Finally, we present baseline results training on these synthetic data and testing on real-world datasets to illustrate generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL