Resolve Domain Conflicts for Generalizable Remote Physiological Measurement

要約

リモート光電容積脈波計 (rPPG) テクノロジーは、さまざまな生理学的指標を非侵襲的にモニタリングできるため、ますます人気が高まっており、マルチメディア インタラクション、ヘルスケア、感情分析に広く応用できるようになりました。
既存の rPPG 手法は、モデルの一般化性を高めるためにトレーニングに複数のデータセットを利用します。
しかし、彼らは、異なるデータセットにわたる根本的な矛盾の問題、たとえば、(1) インスタンスレベルでの生理学的信号ラベルと顔ビデオの間の異なる位相遅延に起因するラベルの矛盾、(2) 頭部によって引き起こされる分布の変化に起因する属性の矛盾、などを見落とすことがよくあります。
これに対処するために、DOmain-HArmonious フレームワーク (DOHA) を導入します。
具体的には、まず、不確実な位相遅延を排除し、生理学的信号の時間的変動を保存するための調和位相戦略を提案します。
次に、無関係な属性のシフトを減らし、より有効なシナリオに適合するグローバル ソリューションに向けたモデルの最適化を促進する、調和のとれた超平面の最適化を設計します。
私たちの実験は、DOHA が複数のプロトコルの下で既存の方法のパフォーマンスを大幅に向上させることを示しています。
私たちのコードは https://github.com/SWY666/rPPG-DOHA で入手できます。

要約(オリジナル)

Remote photoplethysmography (rPPG) technology has become increasingly popular due to its non-invasive monitoring of various physiological indicators, making it widely applicable in multimedia interaction, healthcare, and emotion analysis. Existing rPPG methods utilize multiple datasets for training to enhance the generalizability of models. However, they often overlook the underlying conflict issues across different datasets, such as (1) label conflict resulting from different phase delays between physiological signal labels and face videos at the instance level, and (2) attribute conflict stemming from distribution shifts caused by head movements, illumination changes, skin types, etc. To address this, we introduce the DOmain-HArmonious framework (DOHA). Specifically, we first propose a harmonious phase strategy to eliminate uncertain phase delays and preserve the temporal variation of physiological signals. Next, we design a harmonious hyperplane optimization that reduces irrelevant attribute shifts and encourages the model’s optimization towards a global solution that fits more valid scenarios. Our experiments demonstrate that DOHA significantly improves the performance of existing methods under multiple protocols. Our code is available at https://github.com/SWY666/rPPG-DOHA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google