Non-Contrastive Unsupervised Learning of Physiological Signals from Video

要約

血液量脈拍や呼吸などの微妙な周期信号をRGBビデオから抽出できるため、低コストで遠隔健康モニタリングが可能になります。
リモート脈拍推定 (リモート フォトプレチスモグラフィ (rPPG)) の進歩は、現在、ディープ ラーニング ソリューションによって推進されています。
ただし、最新のアプローチは、接触 PPG センサーからのグラウンド トゥルースが関連付けられたベンチマーク データセットでトレーニングおよび評価されます。
信号回帰がラベル付きビデオ データの制約から解放されるための、最初の非対照的な教師なし学習フレームワークを提示します。
周期性と有限の帯域幅の最小限の仮定により、私たちのアプローチは、ラベルのないビデオから直接血液量パルスを発見することができます。
周期信号の視覚的特徴を学習するには、通常の生理学的帯域制限内のまばらなパワー スペクトルとパワー スペクトルのバッチにわたる分散を奨励することで十分であることがわかります。
堅牢な脈拍数推定器をトレーニングするために、rPPG 用に特別に作成されていないラベルのないビデオ データを利用して最初の実験を行います。
限られた誘導バイアスと印象的な経験的結果を考えると、このアプローチは理論的にはビデオから他の周期信号を発見することができ、グラウンドトゥルース信号を必要とせずに複数の生理学的測定を可能にします。
実験を完全に再現するためのコードは、論文とともに提供されています。

要約(オリジナル)

Subtle periodic signals such as blood volume pulse and respiration can be extracted from RGB video, enabling remote health monitoring at low cost. Advancements in remote pulse estimation — or remote photoplethysmography (rPPG) — are currently driven by deep learning solutions. However, modern approaches are trained and evaluated on benchmark datasets with associated ground truth from contact-PPG sensors. We present the first non-contrastive unsupervised learning framework for signal regression to break free from the constraints of labelled video data. With minimal assumptions of periodicity and finite bandwidth, our approach is capable of discovering the blood volume pulse directly from unlabelled videos. We find that encouraging sparse power spectra within normal physiological bandlimits and variance over batches of power spectra is sufficient for learning visual features of periodic signals. We perform the first experiments utilizing unlabelled video data not specifically created for rPPG to train robust pulse rate estimators. Given the limited inductive biases and impressive empirical results, the approach is theoretically capable of discovering other periodic signals from video, enabling multiple physiological measurements without the need for ground truth signals. Codes to fully reproduce the experiments are made available along with the paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google