Contactless Cardiac Pulse Monitoring Using Event Cameras

要約

タイムイベントカメラは、非常に低いレイテンシでシーン情報を記録するための新しいテクノロジーであり、消費電力が低いことです。
イベントカメラは、シーン内でピクセルレベルの光強度が変化するイベントのストリームを出力し、従来のカメラよりも高いダイナミックレンジと時間分解能で情報をキャプチャします。
この研究では、監視された畳み込みニューラルネットワーク（CNN）モデルを使用して、顔の時間イベント記録からの個人の心臓パルス信号の接触のない再構築を調査します。
エンドツーエンドモデルは、計算された心拍数の精度に基づいてモデルのパフォーマンスを評価し、イベントストリームの2次元表現から心臓信号を抽出するように訓練されています。
実験結果は、顔面地域の生理学的心臓情報がイベントストリーム内で効果的に保存されており、リモート心拍数モニタリングのためのこの新しいセンサーの可能性を紹介することを確認しています。
イベントフレームでトレーニングされたモデルは、標準カメラフレームでトレーニングされたベースラインモデルによって達成された2.92 bpmのRMSEと比較して、1分あたり3.32拍（bpm）のルート平均平方根誤差（RMSE）を実現します。
さらに、60 fpsおよび120 fpsで生成されたイベントフレームでトレーニングされたモデルは、それぞれ30 fps標準カメラの結果を上回り、それぞれ2.54と2.13 bpmのRMSEを達成しました。

要約(オリジナル)

Time event cameras are a novel technology for recording scene information at extremely low latency and with low power consumption. Event cameras output a stream of events that encapsulate pixel-level light intensity changes within the scene, capturing information with a higher dynamic range and temporal resolution than traditional cameras. This study investigates the contact-free reconstruction of an individual’s cardiac pulse signal from time event recording of their face using a supervised convolutional neural network (CNN) model. An end-to-end model is trained to extract the cardiac signal from a two-dimensional representation of the event stream, with model performance evaluated based on the accuracy of the calculated heart rate. The experimental results confirm that physiological cardiac information in the facial region is effectively preserved within the event stream, showcasing the potential of this novel sensor for remote heart rate monitoring. The model trained on event frames achieves a root mean square error (RMSE) of 3.32 beats per minute (bpm) compared to the RMSE of 2.92 bpm achieved by the baseline model trained on standard camera frames. Furthermore, models trained on event frames generated at 60 and 120 FPS outperformed the 30 FPS standard camera results, achieving an RMSE of 2.54 and 2.13 bpm, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google