要約
映像から心拍数を推定することで、患者ケア、ヒューマンインタラクション、スポーツなどに応用できる非接触型のヘルスモニタリングが可能になります。既存の研究では、顔追跡によりある程度の動きのある状況でも心拍数を頑健に測定することができます。しかし、制約のない環境では、顔が隠されていたり、カメラの外に出ていたりすることがあるため、これは必ずしも可能ではありません。本発表では、現実的な顔の隠蔽、激しい被写体の動き、十分な心拍数の変動がある難しいビデオ心拍数推定データセットであるIntensePhysioを紹介します。心拍数の変化を現実的な設定で確保するために、我々は各被験者を約1〜2時間録画しています。被験者は、ビデオカメラを取り付けたサイクリングエルゴメーターで（中～高強度で）運動しており、位置や動きに関する指示は与えられていない。11名の被験者が参加し、合計約20時間の映像が撮影されました。既存のリモートフォトプレチスモグラフィーは、このような環境では心拍数を推定することが困難であることを示しました。また、時空間スーパーピクセルを用いた新しいベースラインであるIBIS-CNNを発表し、顔・顔の可視化追跡を不要とすることで既存のモデルを改善する。近日中にコードとデータを一般公開する予定です。
要約(オリジナル)
Estimating heart rate from video allows non-contact health monitoring with applications in patient care, human interaction, and sports. Existing work can robustly measure heart rate under some degree of motion by face tracking. However, this is not always possible in unconstrained settings, as the face might be occluded or even outside the camera. Here, we present IntensePhysio: a challenging video heart rate estimation dataset with realistic face occlusions, severe subject motion, and ample heart rate variation. To ensure heart rate variation in a realistic setting we record each subject for around 1-2 hours. The subject is exercising (at a moderate to high intensity) on a cycling ergometer with an attached video camera and is given no instructions regarding positioning or movement. We have 11 subjects, and approximately 20 total hours of video. We show that the existing remote photo-plethysmography methods have difficulty in estimating heart rate in this setting. In addition, we present IBIS-CNN, a new baseline using spatio-temporal superpixels, which improves on existing models by eliminating the need for a visible face/face tracking. We will make the code and data publically available soon.
arxiv情報
| 著者 | Yeshwanth Napolean,Anwesh Marwade,Nergis Tomen,Puck Alkemade,Thijs Eijsvogels,Jan van Gemert |
| 発行日 | 2022-08-04 07:42:40+00:00 |
| arxivサイト | arxiv_id(pdf) |