RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos

要約

リモート光電容積脈波計 (rPPG) は、顔のビデオから生理学的信号を検出する非接触方法であり、ヘルスケア、感情コンピューティング、なりすまし対策などのさまざまなアプリケーションで大きな可能性を秘めています。
既存の深層学習手法は、rPPG の 2 つの中核的問題、すなわち時空間冗長性の高いビデオ セグメントから弱い rPPG 信号を抽出することと、長いコンテキスト間での rPPG の周期的パターンを理解することを同時に解決するのに苦労しています。
これは、計算の複雑さと、長距離の依存関係をキャプチャする機能との間のトレードオフを表しており、モバイル デバイスでの展開に適した rPPG にとって課題となっています。
この論文では、Mamba の空間的および時間的情報の理解に関する徹底的な調査に基づいて、マルチテンポラル Mamba を使用して周期的パターンと短期傾向の両方を制限するエンドツーエンドの Mamba ベースの手法である RhythmMamba を紹介します。
周波数領域フィードフォワードにより、Mamba が rPPG の準周期パターンを確実に理解できるようになります。
広範な実験により、RhythmMamba はパラメーターを減らし、計算の複雑さを軽減して最先端のパフォーマンスを達成できることが示されています。
提案された RhythmMamba は、パフォーマンスを低下させることなく、あらゆる長さのビデオ セグメントに適用できます。
コードは https://github.com/zizheng-guo/RhythmMamba で入手できます。

要約(オリジナル)

Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals from facial videos, holding great potential in various applications such as healthcare, affective computing, and anti-spoofing. Existing deep learning methods struggle to address two core issues of rPPG simultaneously: extracting weak rPPG signals from video segments with large spatiotemporal redundancy and understanding the periodic patterns of rPPG among long contexts. This represents a trade-off between computational complexity and the ability to capture long-range dependencies, posing a challenge for rPPG that is suitable for deployment on mobile devices. Based on the in-depth exploration of Mamba’s comprehension of spatial and temporal information, this paper introduces RhythmMamba, an end-to-end Mamba-based method that employs multi-temporal Mamba to constrain both periodic patterns and short-term trends, coupled with frequency domain feed-forward to enable Mamba to robustly understand the quasi-periodic patterns of rPPG. Extensive experiments show that RhythmMamba achieves state-of-the-art performance with reduced parameters and lower computational complexity. The proposed RhythmMamba can be applied to video segments of any length without performance degradation. The codes are available at https://github.com/zizheng-guo/RhythmMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google