Large-scale Training of Foundation Models for Wearable Biosignals

要約

生体信号の追跡は、健康状態を監視し、重篤な病状の発症を予防するために非常に重要です。
現在、ウェアラブル デバイスはさまざまな生体信号を簡単に記録できるため、日常生活を中断することなく健康状態を監視する機会が生まれています。
ウェアラブル デバイスや既存のデジタル バイオマーカーが広く使用されているにもかかわらず、注釈付きの医療ラベルを含む厳選されたデータが存在しないため、一般的な健康状態を測定するための新しいバイオマーカーの開発が妨げられています。
実際、医療データセットは通常、他の領域に比べて小さいため、生体信号のニューラル ネットワーク モデルを開発する際の障害となります。
この課題に対処するために、私たちは大規模な縦断 Apple Heart and Movement Study (AHMS) からのインフォームドコンセントの下で収集されたラベルなしセンサー データを使用した自己教師あり学習を採用し、光電脈波計 (PPG) と心電図 (ECG) という 2 つの一般的な生体信号の基礎モデルをトレーニングしました。
）をApple Watchに記録します。
私たちは、約 3 年間にわたる約 141,000 人の参加者のデータを含む AHMS から PPG および ECG データセットを厳選しました。
当社の自己教師あり学習フレームワークには、参加者レベルのポジティブペア選択、確率的拡張モジュール、運動量トレーニングで最適化された正規化されたコントラスト損失が含まれており、PPG と ECG の両方のモダリティによく一般化されています。
事前トレーニングされた基礎モデルが、参加者の人口統計や健康状態に関する情報を容易にエンコードできることを示します。
私たちの知る限り、これはウェアラブル消費者向けデバイス $\unicode{x2013}$ を介して収集された大規模な PPG データと ECG データを使用して基礎モデルを構築した最初の研究です $\unicode{x2013}$ 以前の研究では、臨床および実験で収集されたより小さいサイズのデータ​​セットが一般的に使用されていました
設定。
私たちは、PPG と ECG の基礎モデルがラベル付きデータへの依存を減らすことで将来のウェアラブル デバイスを強化し、ユーザーの健康改善に役立つ可能性を秘めていると信じています。

要約(オリジナル)

Tracking biosignals is crucial for monitoring wellness and preempting the development of severe medical conditions. Today, wearable devices can conveniently record various biosignals, creating the opportunity to monitor health status without disruption to one’s daily routine. Despite widespread use of wearable devices and existing digital biomarkers, the absence of curated data with annotated medical labels hinders the development of new biomarkers to measure common health conditions. In fact, medical datasets are usually small in comparison to other domains, which is an obstacle for developing neural network models for biosignals. To address this challenge, we have employed self-supervised learning using the unlabeled sensor data collected under informed consent from the large longitudinal Apple Heart and Movement Study (AHMS) to train foundation models for two common biosignals: photoplethysmography (PPG) and electrocardiogram (ECG) recorded on Apple Watch. We curated PPG and ECG datasets from AHMS that include data from ~141K participants spanning ~3 years. Our self-supervised learning framework includes participant level positive pair selection, stochastic augmentation module and a regularized contrastive loss optimized with momentum training, and generalizes well to both PPG and ECG modalities. We show that the pre-trained foundation models readily encode information regarding participants’ demographics and health conditions. To the best of our knowledge, this is the first study that builds foundation models using large-scale PPG and ECG data collected via wearable consumer devices $\unicode{x2013}$ prior works have commonly used smaller-size datasets collected in clinical and experimental settings. We believe PPG and ECG foundation models can enhance future wearable devices by reducing the reliance on labeled data and hold the potential to help the users improve their health.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google