Joint Spatial-Temporal Modeling and Contrastive Learning for Self-supervised Heart Rate Measurement

要約

このペーパーでは、IJCAI 2024 で開催される第 3 回ビジョンベースのリモート生理学的信号センシング (RePSS) チャレンジの自己監視心拍数測定のトラック 1 のために、私たちのチーム HFUT-VUT が開発したソリューションを簡単に紹介します。
ラベルなしの顔ビデオを使用した心拍数 (HR) 推定のための自己教師あり学習アルゴリズム。
この課題に取り組むために、時空間モデリングと対照学習をそれぞれ統合する 2 つの自己教師あり HR 推定ソリューションを紹介します。
具体的には、最初に、時空間モデリングに基づく非エンドツーエンドの自己教師あり心拍数測定フレームワークを提案します。これは、微妙な rPPG の手がかりを効果的に捕捉し、rPPG の固有の帯域幅と周期性の特性を活用してモデルを制約できます。
一方、私たちは対照的な学習に基づいた優れたエンドツーエンドのソリューションを採用し、補完的な観点からさまざまなシナリオにわたって一般化することを目指しています。
最後に、アンサンブル戦略を通じて上記のソリューションの長所を組み合わせて最終予測を生成し、より正確な HR 推定につながります。
その結果、私たちのソリューションはテスト データセットで 8.85277 という驚異的な RMSE スコアを達成し、チャレンジのトラック 1 で \textbf{2 位} を確保しました。

要約(オリジナル)

This paper briefly introduces the solutions developed by our team, HFUT-VUT, for Track 1 of self-supervised heart rate measurement in the 3rd Vision-based Remote Physiological Signal Sensing (RePSS) Challenge hosted at IJCAI 2024. The goal is to develop a self-supervised learning algorithm for heart rate (HR) estimation using unlabeled facial videos. To tackle this task, we present two self-supervised HR estimation solutions that integrate spatial-temporal modeling and contrastive learning, respectively. Specifically, we first propose a non-end-to-end self-supervised HR measurement framework based on spatial-temporal modeling, which can effectively capture subtle rPPG clues and leverage the inherent bandwidth and periodicity characteristics of rPPG to constrain the model. Meanwhile, we employ an excellent end-to-end solution based on contrastive learning, aiming to generalize across different scenarios from complementary perspectives. Finally, we combine the strengths of the above solutions through an ensemble strategy to generate the final predictions, leading to a more accurate HR estimation. As a result, our solutions achieved a remarkable RMSE score of 8.85277 on the test dataset, securing \textbf{2nd place} in Track 1 of the challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google