要約
カメラベースの生理学的測定の機械学習モデルは、代表的なトレーニング データが不足しているため、一般化が不十分な場合があります。
ビデオから微妙な心臓の脈拍を復元しようとする場合、体の動きは最も重要なノイズ源の 1 つです。
生理学的変化を維持しながらモーション バリエーションを導入するためのデータ拡張の形式として、モーション転送を調査します。
リモート フォトプレチスモグラフィ (PPG) のタスクのビデオを増強し、1) 大きさと 2) 運動の種類に関して運動増強の効果を研究するニューラル ビデオ合成アプローチを適応させます。
公開されているデータセットのモーション拡張バージョンでトレーニングした後、5 つのベンチマーク データセットで提示されたデータセット間の結果は、既存の最先端の結果よりも最大 75% の改善を示しています。
私たちの調査結果は、カメラベースの生理学的センシングのモデルの一般化を改善するためのデータ拡張技術としてのモーション転送の有用性を示しています。
プロジェクト ページ https://motion-matters.github.io/ で、モーション転送をデータ拡張手法として使用するためのコードと事前トレーニング済みモデルをリリースします。
要約(オリジナル)
Machine learning models for camera-based physiological measurement can have weak generalization due to a lack of representative training data. Body motion is one of the most significant sources of noise when attempting to recover the subtle cardiac pulse from a video. We explore motion transfer as a form of data augmentation to introduce motion variation while preserving physiological changes. We adapt a neural video synthesis approach to augment videos for the task of remote photoplethysmography (PPG) and study the effects of motion augmentation with respect to 1) the magnitude and 2) the type of motion. After training on motion-augmented versions of publicly available datasets, the presented inter-dataset results on five benchmark datasets show improvements of up to 75% over existing state-of-the-art results. Our findings illustrate the utility of motion transfer as a data augmentation technique for improving the generalization of models for camera-based physiological sensing. We release our code and pre-trained models for using motion transfer as a data augmentation technique on our project page: https://motion-matters.github.io/
arxiv情報
著者 | Akshay Paruchuri,Xin Liu,Yulu Pan,Shwetak Patel,Daniel McDuff,Soumyadip Sengupta |
発行日 | 2023-03-21 17:51:23+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google