Training Robust Deep Physiological Measurement Models with Synthetic Video-based Data

要約

教師あり深層学習技術の最近の進歩により、顔のビデオだけから人間の生理学的バイタルサイン (光電脈波計、心拍数など) を遠隔で測定できる可能性が実証されました。
ただし、これらの方法のパフォーマンスは、実際のラベル付きデータの可用性と多様性に大きく依存します。
しかし、高品質のラベルを付けて大規模な実世界データを収集することは通常、困難でリソースを大量に消費するため、個人の生体認証データを保存する際にはプライバシーの懸念も生じます。
写真のようにリアルな合成アバターを備えた合成ビデオベースのデータセット (例: SCAMPS~\cite{mcduff2022scamps}) は、高品質の合成データを提供しながら問題を軽減するために導入されています。
ただし、合成データと現実世界のデータの間には大きなギャップが存在し、これがこれらの合成データセットでトレーニングされたニューラル モデルの一般化を妨げています。
この論文では、合成生理学的信号と対応する顔のビデオに現実世界のノイズを追加するためのいくつかの手段を提案しました。
私たちは個別の拡張方法と組み合わせた拡張方法を実験し、3 つの公開実世界データセットでフレームワークを評価しました。
結果は、平均 MAE を 6.9 から 2.0 に下げることができたことを示しています。

要約(オリジナル)

Recent advances in supervised deep learning techniques have demonstrated the possibility to remotely measure human physiological vital signs (e.g., photoplethysmograph, heart rate) just from facial videos. However, the performance of these methods heavily relies on the availability and diversity of real labeled data. Yet, collecting large-scale real-world data with high-quality labels is typically challenging and resource intensive, which also raises privacy concerns when storing personal bio-metric data. Synthetic video-based datasets (e.g., SCAMPS~\cite{mcduff2022scamps}) with photo-realistic synthesized avatars are introduced to alleviate the issues while providing high-quality synthetic data. However, there exists a significant gap between synthetic and real-world data, which hinders the generalization of neural models trained on these synthetic datasets. In this paper, we proposed several measures to add real-world noise to synthetic physiological signals and corresponding facial videos. We experimented with individual and combined augmentation methods and evaluated our framework on three public real-world datasets. Our results show that we were able to reduce the average MAE from 6.9 to 2.0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google