Remote Blood Oxygen Estimation From Videos Using Neural Networks

要約

血中酸素飽和度（SpO$_2$）は呼吸機能の重要な指標であり、COVID-19パンデミックの間、ますます注目されている。臨床所見によると、COVID-19患者は明らかな症状が出る前にSpO$_2$が著しく低下する可能性がある。カメラの普及により、研究者たちはビデオを使ってSpO$_2$をモニターする方法を研究するようになった。スマートフォンを使った先行方式のほとんどは接触型である：これらの方式では、指先で携帯電話のカメラを覆い、近くの光源から照射された組織からの再放射光を捉える必要がある。本論文では、スマートフォンのカメラを用いた、畳み込みニューラルネットワークベースの非接触SpO$_2$推定方式を初めて提案する。この方式は、生理学的センシングのために参加者の手の映像を解析するもので、便利で快適であり、プライバシーを保護でき、フェイスマスクをつけたままでも可能である。我々は、SpO$_2$計測のための光生理学的モデルにインスパイアされたニューラルネットワークアーキテクチャを設計し、チャネルの組み合わせに対する重みを可視化することで説明可能性を示す。提案モデルは、接触ベースのSpO$_2$測定用に設計された最先端のモデルを凌駕し、提案手法が公衆衛生に貢献する可能性を示す。また、皮膚の種類と手の側面がSpO$_2$推定性能に与える影響も解析した。

要約(オリジナル)

Blood oxygen saturation (SpO$_2$) is an essential indicator of respiratory functionality and is receiving increasing attention during the COVID-19 pandemic. Clinical findings show that it is possible for COVID-19 patients to have significantly low SpO$_2$ before any obvious symptoms. The prevalence of cameras has motivated researchers to investigate methods for monitoring SpO$_2$ using videos. Most prior schemes involving smartphones are contact-based: They require a fingertip to cover the phone’s camera and the nearby light source to capture re-emitted light from the illuminated tissue. In this paper, we propose the first convolutional neural network based noncontact SpO$_2$ estimation scheme using smartphone cameras. The scheme analyzes the videos of a participant’s hand for physiological sensing, which is convenient and comfortable, and can protect their privacy and allow for keeping face masks on. We design our neural network architectures inspired by the optophysiological models for SpO$_2$ measurement and demonstrate the explainability by visualizing the weights for channel combination. Our proposed models outperform the state-of-the-art model that is designed for contact-based SpO$_2$ measurement, showing the potential of our proposed method to contribute to public health. We also analyze the impact of skin type and the side of a hand on SpO$_2$ estimation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL