A Novel Local-Global Feature Fusion Framework for Body-weight Exercise Recognition with Pressure Mapping Sensors

要約

床ベースの動的圧力マップを使用した自重運動認識のための、新しいローカル-グローバル特徴融合フレームワークを紹介します。
主にグローバルな特徴抽出に焦点を当てたディープ ニューラル ネットワークを使用した既存の研究からさらに一歩進んで、提案されたフレームワークは、画像処理技術と YOLO 物体検出を使用してローカルな特徴とグローバルな特徴を組み合わせて、さまざまな体の部分からの圧力プロファイルを局所化し、物理的制約を考慮することを目的としています。
提案された局所特徴抽出方法は、トリミングされた圧力マッピングと、角度方向、マット上の位置、圧力領域などの数値特徴から構成される 2 セットの高レベルの局所特徴を生成します。
さらに、グローバル特徴抽出の知識を保存し、運動認識のパフォーマンスを向上させるために、正則化のための知識蒸留を採用します。
私たちの実験結果は、ラベル固有の機能を維持しながら、運動認識の F1 スコアが 11 パーセント向上するという顕著な改善を示しています。

要約(オリジナル)

We present a novel local-global feature fusion framework for body-weight exercise recognition with floor-based dynamic pressure maps. One step further from the existing studies using deep neural networks mainly focusing on global feature extraction, the proposed framework aims to combine local and global features using image processing techniques and the YOLO object detection to localize pressure profiles from different body parts and consider physical constraints. The proposed local feature extraction method generates two sets of high-level local features consisting of cropped pressure mapping and numerical features such as angular orientation, location on the mat, and pressure area. In addition, we adopt a knowledge distillation for regularization to preserve the knowledge of the global feature extraction and improve the performance of the exercise recognition. Our experimental results demonstrate a notable 11 percent improvement in F1 score for exercise recognition while preserving label-specific features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google