Advancing Generalizable Remote Physiological Measurement through the Integration of Explicit and Implicit Prior Knowledge

要約

遠隔光電容積脈波計 (rPPG) は、顔のビデオから生理学的信号をキャプチャする有望な技術であり、医療健康、感情コンピューティング、バイオセキュリティ認識に応用できる可能性があります。
rPPG タスクの需要は、データセット内テストでの良好なパフォーマンスの実証から、データセット間テスト (つまり、ドメインの一般化) まで拡大しています。
しかし、既存の手法のほとんどは rPPG の事前知識を無視しており、一般化能力が不十分です。
この論文では、rPPG タスクにおいて明示的および暗黙的な事前知識を同時に利用する新しいフレームワークを提案します。
具体的には、さまざまなドメインにわたるノイズ源 (さまざまなカメラ、照明、肌のタイプ、動きなど) の原因を体系的に分析し、これらの事前知識をネットワークに組み込みます。
さらに、2 ブランチ ネットワークを利用して、暗黙的なラベル相関を通じて生理学的特徴の分布をノイズから解きほぐします。
私たちの広範な実験により、提案された方法が RGB クロスデータセット評価において最先端の方法よりも優れているだけでなく、RGB データセットから NIR データセットまでうまく一般化できることが実証されました。
コードは https://github.com/keke-nice/Greip で入手できます。

要約(オリジナル)

Remote photoplethysmography (rPPG) is a promising technology that captures physiological signals from face videos, with potential applications in medical health, emotional computing, and biosecurity recognition. The demand for rPPG tasks has expanded from demonstrating good performance on intra-dataset testing to cross-dataset testing (i.e., domain generalization). However, most existing methods have overlooked the prior knowledge of rPPG, resulting in poor generalization ability. In this paper, we propose a novel framework that simultaneously utilizes explicit and implicit prior knowledge in the rPPG task. Specifically, we systematically analyze the causes of noise sources (e.g., different camera, lighting, skin types, and movement) across different domains and incorporate these prior knowledge into the network. Additionally, we leverage a two-branch network to disentangle the physiological feature distribution from noises through implicit label correlation. Our extensive experiments demonstrate that the proposed method not only outperforms state-of-the-art methods on RGB cross-dataset evaluation but also generalizes well from RGB datasets to NIR datasets. The code is available at https://github.com/keke-nice/Greip.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google