Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement

要約

カメラベースの生理学的測定の機械学習モデルは、代表的なトレーニング データが不足しているため、一般化が弱い可能性があります。
体の動きは、ビデオから微妙な心拍を復元しようとする場合の最も重要なノイズ源の 1 つです。
私たちは、関心のある生理学的変化を維持しながら動きの変化を導入するためのデータ拡張の一形態としての動きの伝達を調査します。
私たちは、ニューラル ビデオ合成アプローチを適用して遠隔光電脈波記録法 (rPPG) のタスク用にビデオを拡張し、1) 大きさと 2) 動きの種類に関する動き拡張の効果を研究します。
公開されているデータセットのモーション拡張バージョンでトレーニングした後、PURE データセットでさまざまな最先端の方法を使用して、既存のデータセット間の結果と比較して 47% の改善を実証しました。
また、5 つのベンチマーク データセットに関するデータセット間の結果も示し、ニューラル rPPG 推定手法である TS-CAN を使用して最大 79% の改善が見られることを示しています。
私たちの発見は、カメラベースの生理学的センシングのモデルの一般化を改善するためのデータ拡張技術としてのモーション転送の有用性を示しています。
UBFC-rPPG、PURE、SCAMPS という 3 つの公開データセットと、モーション拡張データで事前トレーニングされたモデルのデータ拡張手法としてモーション転送を使用するためのコードを、https://motion-matters.github でリリースします。
イオ/

要約(オリジナル)

Machine learning models for camera-based physiological measurement can have weak generalization due to a lack of representative training data. Body motion is one of the most significant sources of noise when attempting to recover the subtle cardiac pulse from a video. We explore motion transfer as a form of data augmentation to introduce motion variation while preserving physiological changes of interest. We adapt a neural video synthesis approach to augment videos for the task of remote photoplethysmography (rPPG) and study the effects of motion augmentation with respect to 1) the magnitude and 2) the type of motion. After training on motion-augmented versions of publicly available datasets, we demonstrate a 47% improvement over existing inter-dataset results using various state-of-the-art methods on the PURE dataset. We also present inter-dataset results on five benchmark datasets to show improvements of up to 79% using TS-CAN, a neural rPPG estimation method. Our findings illustrate the usefulness of motion transfer as a data augmentation technique for improving the generalization of models for camera-based physiological sensing. We release our code for using motion transfer as a data augmentation technique on three publicly available datasets, UBFC-rPPG, PURE, and SCAMPS, and models pre-trained on motion-augmented data here: https://motion-matters.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google