HARMamba: Efficient and Lightweight Wearable Sensor Human Activity Recognition Based on Bidirectional Mamba

要約

ウェアラブル センサー ベースの人間活動認識 (HAR) は、活動認識における重要な研究領域です。
しかし、高効率で長い配列認識を達成することは依然として課題です。
CNN、RNN、トランスフォーマーなどの時間深層学習モデルについては広範な調査が行われていますが、その広範なパラメータにより計算量とメモリに重大な制約が生じることが多く、リソースに制約のあるモバイルヘルス アプリケーションにはあまり適していません。
この研究では、選択的双方向状態空間モデルとハードウェア認識設計を組み合わせた革新的な軽量で多用途な HAR アーキテクチャである HARMamba を紹介します。
実際のシナリオでのリアルタイムのリソース消費を最適化するために、HARMamba は線形再帰メカニズムとパラメーターの離散化を採用し、スキャン操作と再計算操作を効率的に融合しながら、関連する入力シーケンスに選択的に焦点を当てることができます。
このモデルは、独立したチャネルを使用してセンサー データ ストリームを処理し、各チャネルをパッチに分割し、シーケンスの最後に分類トークンを追加します。
位置埋め込みを利用してシーケンス順序を表します。
その後、パッチ シーケンスは HARMamba ブロックによって処理され、最終的に分類ヘッドがアクティビティ カテゴリを出力します。
HARMamba ブロックは、HARMamba アーキテクチャの基本コンポーネントとして機能し、より識別的なアクティビティ シーケンスの特徴を効果的にキャプチャできるようにします。
HARMamba は、現代の最先端のフレームワークよりも優れたパフォーマンスを発揮し、計算量とメモリの需要を大幅に削減しながら、同等以上の精度を実現します。
その有効性は、PAMAP2、WISDM、UNIMIB SHAR、UCI という 4 つの公的に利用可能なデータセットで広範囲に検証されています。
4 つのデータセットに対する HARMamba の F1 スコアは、それぞれ 99.74%、99.20%、88.23%、97.01% です。

要約(オリジナル)

Wearable sensor-based human activity recognition (HAR) is a critical research domain in activity perception. However, achieving high efficiency and long sequence recognition remains a challenge. Despite the extensive investigation of temporal deep learning models, such as CNNs, RNNs, and transformers, their extensive parameters often pose significant computational and memory constraints, rendering them less suitable for resource-constrained mobile health applications. This study introduces HARMamba, an innovative light-weight and versatile HAR architecture that combines selective bidirectional State Spaces Model and hardware-aware design. To optimize real-time resource consumption in practical scenarios, HARMamba employs linear recursive mechanisms and parameter discretization, allowing it to selectively focus on relevant input sequences while efficiently fusing scan and recompute operations. The model employs independent channels to process sensor data streams, dividing each channel into patches and appending classification tokens to the end of the sequence. It utilizes position embedding to represent the sequence order. The patch sequence is subsequently processed by HARMamba Block, and the classification head finally outputs the activity category. The HARMamba Block serves as the fundamental component of the HARMamba architecture, enabling the effective capture of more discriminative activity sequence features. HARMamba outperforms contemporary state-of-the-art frameworks, delivering comparable or better accuracy with significantly reducing computational and memory demands. It’s effectiveness has been extensively validated on 4 publically available datasets namely PAMAP2, WISDM, UNIMIB SHAR and UCI. The F1 scores of HARMamba on the four datasets are 99.74%, 99.20%, 88.23% and 97.01%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google