Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast

要約

ビデオベースの遠隔生理学的測定では、顔のビデオを利用して血液量変化信号を測定します。これは遠隔光電脈波計 (rPPG) とも呼ばれます。
rPPG 測定の教師付きメソッドは、良好なパフォーマンスを達成することが示されています。
ただし、これらの方法の欠点は、グラウンド トゥルース (GT) 生理学的信号を含む顔ビデオが必要であることですが、多くの場合、コストが高く、入手が困難です。
この論文では、教師なし設定と弱く教師ありの設定の両方でトレーニングできる手法である Contrast-Phys+ を提案します。
3DCNN モデルを使用して複数の時空間 rPPG 信号を生成し、rPPG の事前知識を対照的な損失関数に組み込みます。
さらに、GT 信号を対比学習に組み込んで、部分的なラベルや位置ずれしたラベルに適応します。
コントラスト損失により、同じビデオからの rPPG/GT 信号がグループ化される一方、異なるビデオからの信号は分離されます。
私たちは、RGB ビデオと近赤外線ビデオの両方を含む 5 つの公開されているデータセットでメソッドを評価しました。
Contrast-Phys+ は、部分的に利用可能な GT シグナルや位置ずれした GT シグナルを使用する場合、またはラベルをまったく使用しない場合でも、最先端の教師付きメソッドよりも優れたパフォーマンスを発揮します。
さらに、計算効率、ノイズ耐性、一般化の観点から、この手法の利点を強調します。

要約(オリジナル)

Video-based remote physiological measurement utilizes facial videos to measure the blood volume change signal, which is also called remote photoplethysmography (rPPG). Supervised methods for rPPG measurements have been shown to achieve good performance. However, the drawback of these methods is that they require facial videos with ground truth (GT) physiological signals, which are often costly and difficult to obtain. In this paper, we propose Contrast-Phys+, a method that can be trained in both unsupervised and weakly-supervised settings. We employ a 3DCNN model to generate multiple spatiotemporal rPPG signals and incorporate prior knowledge of rPPG into a contrastive loss function. We further incorporate the GT signals into contrastive learning to adapt to partial or misaligned labels. The contrastive loss encourages rPPG/GT signals from the same video to be grouped together, while pushing those from different videos apart. We evaluate our methods on five publicly available datasets that include both RGB and Near-infrared videos. Contrast-Phys+ outperforms the state-of-the-art supervised methods, even when using partially available or misaligned GT signals, or no labels at all. Additionally, we highlight the advantages of our methods in terms of computational efficiency, noise robustness, and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google