Scaling laws in wearable human activity recognition

要約

ウェアラブルマルチモーダルセンサーからの人間の活動認識（HAR）のために、多くの深いアーキテクチャと自己監督の事前訓練技術が提案されています。
スケーリング法は、モデル容量を事前トレーニングデータボリュームとリンクすることにより、より原則的な設計への移行を支援する可能性があります。
しかし、言語やビジョンと同じ程度まで、HARのスケーリング法は確立されていません。
トレーニング前のデータとトランスアーキテクチャの両方の量の両方で徹底的なグリッド検索を実施することにより、HARの最初の既知のスケーリング法則を確立します。
データセットの量とパラメーターカウントの量との電力法関係を備えたトレーニング前の損失スケールは、ユーザーあたりのデータを増やすよりもパフォーマンスが急激に改善されることを示しています。
データは重要であり、これは自己監視されたHARで以前に報告されたいくつかの発見とは対照的です。
これらのスケーリング法は、姿勢、運動モード、日常生活の活動の3つのHARベンチマークデータセットの下流のパフォーマンスの改善につながることを示しています。
最後に、より適切なモデル容量を備えたこれらのスケーリング法則に照らして、以前に公開された作品を再検討することをお勧めします。

要約(オリジナル)

Many deep architectures and self-supervised pre-training techniques have been proposed for human activity recognition (HAR) from wearable multimodal sensors. Scaling laws have the potential to help move towards more principled design by linking model capacity with pre-training data volume. Yet, scaling laws have not been established for HAR to the same extent as in language and vision. By conducting an exhaustive grid search on both amount of pre-training data and Transformer architectures, we establish the first known scaling laws for HAR. We show that pre-training loss scales with a power law relationship to amount of data and parameter count and that increasing the number of users in a dataset results in a steeper improvement in performance than increasing data per user, indicating that diversity of pre-training data is important, which contrasts to some previously reported findings in self-supervised HAR. We show that these scaling laws translate to downstream performance improvements on three HAR benchmark datasets of postures, modes of locomotion and activities of daily living: UCI HAR and WISDM Phone and WISDM Watch. Finally, we suggest some previously published works should be revisited in light of these scaling laws with more adequate model capacities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google