SFDA-rPPG: Source-Free Domain Adaptive Remote Physiological Measurement with Spatio-Temporal Consistency

要約

遠隔光電容積脈波計 (rPPG) は、顔のビデオを使用して血液量の変化を予測し、生理学的指標の測定を可能にする非接触方法です。
従来の rPPG モデルは、目に見えない領域での汎化能力の低さに苦戦することがよくあります。
この問題に対する現在の解決策は、ドメイン一般化 (DG) またはドメイン適応 (DA) を通じてターゲット ドメインでの一般化を改善することです。
ただし、どちらの従来の方法でも、ソース ドメイン データとターゲット ドメイン データの両方にアクセスする必要があり、ソース データへのアクセスが制限されているシナリオでは実装できません。また、ソース ドメイン データへのアクセスのプライバシーの問題もあります。
この論文では、rPPG 測定用の最初のソースフリー ドメイン アダプテーション ベンチマーク (SFDA-rPPG) を提案します。これは、ソース ドメイン データにアクセスせずに効果的なドメイン アダプテーションを可能にすることで、これらの制限を克服します。
私たちのフレームワークには、ドメイン間の機能の一貫性を強化するために、3 ブランチ時空間一貫性ネットワーク (TSTC-Net) が組み込まれています。
さらに、周波数領域のワッサースタイン距離 (FWD) に基づいた新しい rPPG 分布調整損失を提案します。これは、最適なトランスポートを利用してドメイン全体のパワー スペクトル分布を効果的に調整し、3 つのブランチの調整をさらに強化します。
広範なクロスドメイン実験とアブレーション研究により、ソースフリーのドメイン適応設定における提案手法の有効性が実証されています。
私たちの調査結果は、提案されている FWD 損失が分布調整に大きく寄与していることを強調しており、将来の研究や応用に貴重な参考資料を提供します。
ソース コードは https://github.com/XieYiping66/SFDA-rPPG で入手できます。

要約(オリジナル)

Remote Photoplethysmography (rPPG) is a non-contact method that uses facial video to predict changes in blood volume, enabling physiological metrics measurement. Traditional rPPG models often struggle with poor generalization capacity in unseen domains. Current solutions to this problem is to improve its generalization in the target domain through Domain Generalization (DG) or Domain Adaptation (DA). However, both traditional methods require access to both source domain data and target domain data, which cannot be implemented in scenarios with limited access to source data, and another issue is the privacy of accessing source domain data. In this paper, we propose the first Source-free Domain Adaptation benchmark for rPPG measurement (SFDA-rPPG), which overcomes these limitations by enabling effective domain adaptation without access to source domain data. Our framework incorporates a Three-Branch Spatio-Temporal Consistency Network (TSTC-Net) to enhance feature consistency across domains. Furthermore, we propose a new rPPG distribution alignment loss based on the Frequency-domain Wasserstein Distance (FWD), which leverages optimal transport to align power spectrum distributions across domains effectively and further enforces the alignment of the three branches. Extensive cross-domain experiments and ablation studies demonstrate the effectiveness of our proposed method in source-free domain adaptation settings. Our findings highlight the significant contribution of the proposed FWD loss for distributional alignment, providing a valuable reference for future research and applications. The source code is available at https://github.com/XieYiping66/SFDA-rPPG

arxiv情報

提供元, 利用サービス

arxiv.jp, Google