Advancing Generalizable Remote Physiological Measurement through the Integration of Explicit and Implicit Prior Knowledge

要約

遠隔光電脈波(rPPG)は、顔映像から生理信号を取得する有望な技術であり、医療健康、感情コンピューティング、バイオセキュリティ認識への応用が期待されている。rPPGタスクの需要は、データセット内テストでの優れた性能の実証から、データセット横断テスト（すなわち、ドメイン汎化）へと拡大している。しかし、既存の手法の多くは、rPPGの事前知識を見落としており、その結果、汎化能力が低い。本論文では、rPPGタスクにおいて、明示的な事前知識と暗黙的な事前知識を同時に利用する新しいフレームワークを提案する。具体的には、異なる領域にわたるノイズ源（例えば、異なるカメラ、照明、肌タイプ、動き）の原因を系統的に分析し、これらの事前知識をネットワークに組み込む。さらに、2分岐ネットワークを活用し、暗黙的なラベル相関により、生理的特徴分布とノイズを分離する。我々の広範な実験により、提案手法はRGBデータセット間の評価において最先端の手法を凌駕するだけでなく、RGBデータセットからNIRデータセットへの一般化も良好であることが実証された。コードはhttps://github.com/keke-nice/Greip。

要約(オリジナル)

Remote photoplethysmography (rPPG) is a promising technology that captures physiological signals from face videos, with potential applications in medical health, emotional computing, and biosecurity recognition. The demand for rPPG tasks has expanded from demonstrating good performance on intra-dataset testing to cross-dataset testing (i.e., domain generalization). However, most existing methods have overlooked the prior knowledge of rPPG, resulting in poor generalization ability. In this paper, we propose a novel framework that simultaneously utilizes explicit and implicit prior knowledge in the rPPG task. Specifically, we systematically analyze the causes of noise sources (e.g., different camera, lighting, skin types, and movement) across different domains and incorporate these prior knowledge into the network. Additionally, we leverage a two-branch network to disentangle the physiological feature distribution from noises through implicit label correlation. Our extensive experiments demonstrate that the proposed method not only outperforms state-of-the-art methods on RGB cross-dataset evaluation but also generalizes well from RGB datasets to NIR datasets. The code is available at https://github.com/keke-nice/Greip.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL