PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba

要約

顔面ビデオベースの遠隔光電脈波計 (rPPG) は、非接触で生理学的信号を測定し、心臓の活動を監視することを目的としており、さまざまな用途で大きな可能性を示しています。
これまでの深層学習ベースの rPPG 測定は、主に CNN とトランスフォーマーに基づいていました。
ただし、CNN の受容野は限られているため、長距離の時空間依存関係を捕捉する能力が制限され、トランスフォーマーも複雑度の高い長いビデオ シーケンスをモデル化するのに苦労します。
最近、Mamba に代表される状態空間モデル (SSM) は、長いシーケンスから長距離の依存関係を取得する際の優れたパフォーマンスで知られています。
この論文では、顔のビデオから長距離の生理学的依存関係を効率的に表現するための、Mamba ベースのフレームワークである PhysMamba を提案します。
具体的には、Temporal Difference Mamba ブロックを導入して、最初に局所的な動的差異を強化し、さらに長距離の時空間コンテキストをモデル化します。
さらに、デュアルストリーム SlowFast アーキテクチャを利用して、マルチスケールの時間的特徴を融合します。
PhysMamba の優位性と効率性を実証するために、3 つのベンチマーク データセットに対して広範な実験が行われています。
コードは https://github.com/Chaoqi31/PhysMamba で入手できます。

要約(オリジナル)

Facial-video based Remote photoplethysmography (rPPG) aims at measuring physiological signals and monitoring heart activity without any contact, showing significant potential in various applications. Previous deep learning based rPPG measurement are primarily based on CNNs and Transformers. However, the limited receptive fields of CNNs restrict their ability to capture long-range spatio-temporal dependencies, while Transformers also struggle with modeling long video sequences with high complexity. Recently, the state space models (SSMs) represented by Mamba are known for their impressive performance on capturing long-range dependencies from long sequences. In this paper, we propose the PhysMamba, a Mamba-based framework, to efficiently represent long-range physiological dependencies from facial videos. Specifically, we introduce the Temporal Difference Mamba block to first enhance local dynamic differences and further model the long-range spatio-temporal context. Moreover, a dual-stream SlowFast architecture is utilized to fuse the multi-scale temporal features. Extensive experiments are conducted on three benchmark datasets to demonstrate the superiority and efficiency of PhysMamba. The codes are available at https://github.com/Chaoqi31/PhysMamba

arxiv情報

提供元, 利用サービス

arxiv.jp, Google