DD-rPPGNet: De-interfering and Descriptive Feature Learning for Unsupervised rPPG Estimation

要約

リモートフォトプレチスモグラフィ（RPPG）は、フェイシャルビデオの生理学的信号と心拍数（HR）を測定することを目的としています。
最近の監視されていないRPPG推定方法は、グラウンドトゥルースRPPG信号に依存することなく、顔面地域からのRPPGシグナルを推定する際に有望な可能性を示しています。
ただし、これらの方法は、RPPG信号に存在する干渉を忘れているように思われ、それでも不十分なパフォーマンスをもたらします。
このホワイトペーパーでは、本物のRPPG信号を学習するためのRPPG機能内の干渉を排除するために、新規外転型RPPG推定ネットワーク（DD-RPPGNET）を提案します。
最初に、干渉を推定するために監視されていない新しいモデルの干渉と設計のローカル空間的類似性の特性を調査します。
次に、2つの段階で本物のRPPG信号を学習するために、監視されていない非挿入方法を提案します。
最初の段階では、トレーニングデータとそれらの増強されたカウンターパートの両方から対照的な学習により、初期のRPPG信号を推定します。
第2段階では、推定された干渉機能を使用して、透過されていないRPPG機能を導き出し、RPPG信号を干渉とは異なることを奨励します。
さらに、RPPG推定を強化するための微妙なクロミナンスの変化をキャプチャするために、強力な3D学習可能な記述畳み込み（3DLDC）を開発することにより、効果的な記述RPPG機能学習を提案します。
5つのRPPGベンチマークデータセットで実施された広範な実験は、提案されたDD-RPPGNETが以前の監視されていないRPPG推定方法を上回り、最先端の監視されたRPPG方法で競争力のあるパフォーマンスを達成することを示しています。
このコードは、https：//github.com/pei-kaihuang/tifs2025-dd-rppgnetで入手できます

要約(オリジナル)

Remote Photoplethysmography (rPPG) aims to measure physiological signals and Heart Rate (HR) from facial videos. Recent unsupervised rPPG estimation methods have shown promising potential in estimating rPPG signals from facial regions without relying on ground truth rPPG signals. However, these methods seem oblivious to interference existing in rPPG signals and still result in unsatisfactory performance. In this paper, we propose a novel De-interfered and Descriptive rPPG Estimation Network (DD-rPPGNet) to eliminate the interference within rPPG features for learning genuine rPPG signals. First, we investigate the characteristics of local spatial-temporal similarities of interference and design a novel unsupervised model to estimate the interference. Next, we propose an unsupervised de-interfered method to learn genuine rPPG signals with two stages. In the first stage, we estimate the initial rPPG signals by contrastive learning from both the training data and their augmented counterparts. In the second stage, we use the estimated interference features to derive de-interfered rPPG features and encourage the rPPG signals to be distinct from the interference. In addition, we propose an effective descriptive rPPG feature learning by developing a strong 3D Learnable Descriptive Convolution (3DLDC) to capture the subtle chrominance changes for enhancing rPPG estimation. Extensive experiments conducted on five rPPG benchmark datasets demonstrate that the proposed DD-rPPGNet outperforms previous unsupervised rPPG estimation methods and achieves competitive performances with state-of-the-art supervised rPPG methods. The code is available at: https://github.com/Pei-KaiHuang/TIFS2025-DD-rPPGNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google