Neuron Structure Modeling for Generalizable Remote Physiological Measurement

要約

リモート フォトプレチスモグラフィ (rPPG) 技術は、近年ますます注目を集めています。
顔のビデオから血液量パルス (BVP) を抽出できるため、健康監視や感情分析などの多くのアプリケーションがよりアクセスしやすくなります。
ただし、BVP 信号は環境の変化の影響を受けやすいため、既存の方法では目に見えないドメインをうまく一般化するのに苦労しています。
この論文では、rPPG測定タスクにおけるドメインシフトの問題に体系的に対処します。
ドメイン ラベルは複雑な環境変化の中であいまいであるため、ほとんどのドメイン一般化手法はこの問題ではうまく機能しないことを示します。
これに照らして、ニューロン構造モデリング（NEST）と呼ばれるドメインラベルフリーのアプローチを提案します。
NEST は、トレーニング中に特徴空間のカバレッジを最大化することで一般化能力を向上させ、推論中に最適化されていない機能がアクティブ化される可能性を減らします。
さらに、NEST は、マルチドメイン全体でドメイン不変機能を強化および強化することもできます。
rPPG 測定タスクのための大規模なドメイン一般化プロトコルを作成し、ベンチマークします。
広範な実験により、クロスデータセット設定とデータセット内設定の両方で、私たちのアプローチが最先端の方法よりも優れていることが示されています。

要約(オリジナル)

Remote photoplethysmography (rPPG) technology has drawn increasing attention in recent years. It can extract Blood Volume Pulse (BVP) from facial videos, making many applications like health monitoring and emotional analysis more accessible. However, as the BVP signal is easily affected by environmental changes, existing methods struggle to generalize well for unseen domains. In this paper, we systematically address the domain shift problem in the rPPG measurement task. We show that most domain generalization methods do not work well in this problem, as domain labels are ambiguous in complicated environmental changes. In light of this, we propose a domain-label-free approach called NEuron STructure modeling (NEST). NEST improves the generalization capacity by maximizing the coverage of feature space during training, which reduces the chance for under-optimized feature activation during inference. Besides, NEST can also enrich and enhance domain invariant features across multi-domain. We create and benchmark a large-scale domain generalization protocol for the rPPG measurement task. Extensive experiments show that our approach outperforms the state-of-the-art methods on both cross-dataset and intra-dataset settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google