Fully Test-Time rPPG Estimation via Synthetic Signal-Guided Feature Learning

要約

多くの遠隔光電容積脈波計 (rPPG) 推定モデルは、トレーニング領域では有望なパフォーマンスを達成していますが、ターゲット領域では生理学的信号や心拍数 (HR) を正確に推定できないことがよくあります。
したがって、オフライン トレーニング段階でドメイン一般化 (DG) またはドメイン適応 (DA) 手法が採用され、利用可能なすべてのソース ドメイン データを利用して、未観測または観測済みのターゲット ドメインにモデルを適応させます。
ただし、rPPG 推定問題では、適応されたモデルは通常、ドメインの変動が大きいターゲット データを推定する際に課題に直面します。
対照的に、Test-Time Adaptation (TTA) を使用すると、ソース データを参照せずにラベルなしのターゲット データにオンラインで適応することにより、モデルがさまざまな目に見えない領域で rPPG 信号を適応的に推定できます。
この論文では、まず、実際の rPPG 推定で遭遇する課題をシミュレートするために、さまざまなドメイン情報と HR 分布を網羅する新しい TTA-rPPG ベンチマークを確立します。
次に、TTA 段階での忘却の問題に対処し、事前トレーニングされた rPPG モデルの適応能力を強化するための、新しい合成信号ガイド型 rPPG 推定フレームワークを提案します。
この目的を達成するために、我々は、潜在 rPPG 特徴を生成する際に条件付きジェネレーターをガイドする擬似グラウンド トゥルースとして擬似 rPPG 信号を合成することにより、合成信号ガイド型特徴学習方法を開発します。
さらに、rPPG モデルが新しいターゲット ドメイン情報を学習することを促進する、効果的なスペクトル ベースのエントロピー最小化手法を設計します。
生成された rPPG 特徴と合成された rPPG 信号は両方とも、rPPG モデルがターゲット データに過剰適合したり、以前に取得した知識を忘れたりすることを防ぎ、同時にさまざまな心拍数 (HR) 分布を幅広くカバーします。
TTA-rPPG ベンチマークに関する広範な実験により、提案された方法が優れたパフォーマンスを達成することが示されました。

要約(オリジナル)

Many remote photoplethysmography (rPPG) estimation models have achieved promising performance in the training domain but often fail to accurately estimate physiological signals or heart rates (HR) in the target domains. Domain generalization (DG) or domain adaptation (DA) techniques are therefore adopted during the offline training stage to adapt the model to either unobserved or observed target domains by utilizing all available source domain data. However, in rPPG estimation problems, the adapted model usually encounters challenges in estimating target data with significant domain variation. In contrast, Test-Time Adaptation (TTA) enables the model to adaptively estimate rPPG signals in various unseen domains by online adapting to unlabeled target data without referring to any source data. In this paper, we first establish a new TTA-rPPG benchmark that encompasses various domain information and HR distributions to simulate the challenges encountered in real-world rPPG estimation. Next, we propose a novel synthetic signal-guided rPPG estimation framework to address the forgetting issue during the TTA stage and to enhance the adaptation capability of the pre-trained rPPG model. To this end, we develop a synthetic signal-guided feature learning method by synthesizing pseudo rPPG signals as pseudo ground truths to guide a conditional generator in generating latent rPPG features. In addition, we design an effective spectral-based entropy minimization technique to encourage the rPPG model to learn new target domain information. Both the generated rPPG features and synthesized rPPG signals prevent the rPPG model from overfitting to target data and forgetting previously acquired knowledge, while also broadly covering various heart rate (HR) distributions. Our extensive experiments on the TTA-rPPG benchmark show that the proposed method achieves superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google