Remote Photoplethysmography in Real-World and Extreme Lighting Scenarios

要約

生理学的活動は、顔のイメージングの敏感な変化によって明らかになる可能性があります。
それらは私たちの目にはほとんど観察できませんが、コンピュータービジョンマナーはでき、派生したリモートフォトプレチスモグラフィ（RPPG）はかなりの約束を示しています。
ただし、既存の研究は主に空間的な皮膚認識と時間的リズミカルな相互作用に依存しているため、理想的な光条件下で明示的な特徴を特定することに焦点を当てていますが、複雑な障害と極端な照明曝露を備えたワイルドではあまり機能しません。
この論文では、RPPGのエンドツーエンドのビデオトランスモデルを提案します。
微妙なバイオシグナル振幅を占有するのに十分であるか、ネットワークトレーニングを妨げる定期的な摂動として存在するかどうかにかかわらず、複雑で未知の外部の時変干渉を排除するよう努めています。
特定の実装では、グローバルな干渉共有、科目の背景参照、および自己監視された干渉の解体を利用して干渉を排除し、空間的フィルタリング、再構築ガイダンス、および頻度ドメインと生物学的事前制約に基づいて、効果的なRPPGを達成するための頻度のドメインと生物学的な領域を利用します。
私たちの知る限り、これは自然な顔ビデオに基づいた実際の屋外シナリオの最初の堅牢なRPPGモデルであり、展開するのは軽量です。
広範な実験は、データセットとシーン全体のRPPG予測におけるモデルの競争力とパフォーマンスを示しています。

要約(オリジナル)

Physiological activities can be manifested by the sensitive changes in facial imaging. While they are barely observable to our eyes, computer vision manners can, and the derived remote photoplethysmography (rPPG) has shown considerable promise. However, existing studies mainly rely on spatial skin recognition and temporal rhythmic interactions, so they focus on identifying explicit features under ideal light conditions, but perform poorly in-the-wild with intricate obstacles and extreme illumination exposure. In this paper, we propose an end-to-end video transformer model for rPPG. It strives to eliminate complex and unknown external time-varying interferences, whether they are sufficient to occupy subtle biosignal amplitudes or exist as periodic perturbations that hinder network training. In the specific implementation, we utilize global interference sharing, subject background reference, and self-supervised disentanglement to eliminate interference, and further guide learning based on spatiotemporal filtering, reconstruction guidance, and frequency domain and biological prior constraints to achieve effective rPPG. To the best of our knowledge, this is the first robust rPPG model for real outdoor scenarios based on natural face videos, and is lightweight to deploy. Extensive experiments show the competitiveness and performance of our model in rPPG prediction across datasets and scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google