P2LHAP:Wearable sensor-based human activity recognition, segmentation and forecast through Patch-to-Label Seq2Seq Transformer

要約

従来の深層学習手法では、センサー データから人間の活動を同時にセグメント化、認識、予測することが困難でした。
これにより、現在および今後の活動をリアルタイムで理解することが重要である医療や生活支援などの多くの分野での有用性が制限されます。
このペーパーでは、効率的なシングルタスク モデルで 3 つのタスクすべてに取り組む新しい Patch-to-Label Seq2Seq フレームワークである P2LHAP を紹介します。
P2LHAP は、センサー データ ストリームを入力トークンとして機能する一連の「パッチ」に分割し、予測される将来のアクティビティを含む一連のパッチレベルのアクティビティ ラベルを出力します。
アクティビティの境界を正確に識別するために、周囲のパッチ ラベルに基づく独自の平滑化手法が提案されています。
さらに、P2LHAP は、センサー信号チャネルに依存しない Transformer エンコーダーおよびデコーダーによってパッチレベルの表現を学習します。
すべてのチャネルは、すべてのシーケンスにわたってエンベディングとトランスフォーマーの重みを共有します。
3 つの公開データセットで評価したところ、P2LHAP は 3 つのタスクすべてにおいて最先端のものを大幅に上回り、実世界のアプリケーションに対するその有効性と可能性を実証しました。

要約(オリジナル)

Traditional deep learning methods struggle to simultaneously segment, recognize, and forecast human activities from sensor data. This limits their usefulness in many fields such as healthcare and assisted living, where real-time understanding of ongoing and upcoming activities is crucial. This paper introduces P2LHAP, a novel Patch-to-Label Seq2Seq framework that tackles all three tasks in a efficient single-task model. P2LHAP divides sensor data streams into a sequence of ‘patches’, served as input tokens, and outputs a sequence of patch-level activity labels including the predicted future activities. A unique smoothing technique based on surrounding patch labels, is proposed to identify activity boundaries accurately. Additionally, P2LHAP learns patch-level representation by sensor signal channel-independent Transformer encoders and decoders. All channels share embedding and Transformer weights across all sequences. Evaluated on three public datasets, P2LHAP significantly outperforms the state-of-the-art in all three tasks, demonstrating its effectiveness and potential for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google