LSM-2: Learning from Incomplete Wearable Sensor Data

要約

機械学習における最近の進歩の基礎であるFoundationモデルは、主に完全でよく構築されたデータで繁栄しています。
ウェアラブルセンサーデータは頻繁に大きな欠落に苦しんでおり、通常、完全なデータ入力を想定する自己監視学習（SSL）モデルに大きな課題をもたらします。
このホワイトペーパーでは、明示的な帰属を必要とせずに不完全なデータから直接堅牢な表現を学習する新しいSSLアプローチである、適応および継承されたマスキング（AIM）を使用して、第2世代の大センサーモデル（LSM-2）を紹介します。
AIMのコアノベルティは、学習可能なマスクトークンを使用して、既存（「継承」）と人為的に導入された欠落の両方をモデル化し、推論中に断片化された実際のデータを堅牢に処理できるようにします。
40m時間の1日のマルチモーダルセンサーデータの広範なデータセットで事前に訓練されたAIMのLSM-2は、分類、回帰、生成モデリングなど、多様なタスクで最高のパフォーマンスを実現します。
さらに、AIMを備えたLSM-2は優れたスケーリングパフォーマンスを示し、非常に高いパフォーマンスは、高血圧予測のための夜間バイオシグナルの診断値など、臨床的に一貫性のあるパターンを反映して、ターゲットの欠落シナリオの下でも高性能を維持します。
これにより、実際のウェアラブルデータアプリケーションにとって、AIMはより信頼性の高い選択になります。

要約(オリジナル)

Foundation models, a cornerstone of recent advancements in machine learning, have predominantly thrived on complete and well-structured data. Wearable sensor data frequently suffers from significant missingness, posing a substantial challenge for self-supervised learning (SSL) models that typically assume complete data inputs. This paper introduces the second generation of Large Sensor Model (LSM-2) with Adaptive and Inherited Masking (AIM), a novel SSL approach that learns robust representations directly from incomplete data without requiring explicit imputation. AIM’s core novelty lies in its use of learnable mask tokens to model both existing (‘inherited’) and artificially introduced missingness, enabling it to robustly handle fragmented real-world data during inference. Pre-trained on an extensive dataset of 40M hours of day-long multimodal sensor data, our LSM-2 with AIM achieves the best performance across a diverse range of tasks, including classification, regression and generative modeling. Furthermore, LSM-2 with AIM exhibits superior scaling performance, and critically, maintains high performance even under targeted missingness scenarios, reflecting clinically coherent patterns, such as the diagnostic value of nighttime biosignals for hypertension prediction. This makes AIM a more reliable choice for real-world wearable data applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google