EgoCHARM: Resource-Efficient Hierarchical Activity Recognition using an Egocentric IMU Sensor

要約

SmartGlassesの人間の活動認識（HAR）には、健康/フィットネス追跡やコンテキスト認識AIアシスタントの入力など、さまざまなユースケースがあります。
ただし、エゴセントリックアクティビティ認識の現在のアプローチは、パフォーマンスが低いか、リソース集約型です。
この作業では、単一のエゴセントリック（ヘッドマウント）慣性測定ユニット（IMU）を使用して高レベルと低レベルのアクティビティの両方を認識するために、リソース（メモリ、コンピューティング、電源、サンプル）効率的な機械学習アルゴリズム、EgoCharmを紹介します。
当社の階層アルゴリズムは、低レベルのアクティビティ認識に効果的に利用できる一般化可能な低レベルの動き埋め込みを学習するために、主に高レベルのアクティビティラベルをトレーニングに必要とする半監視学習戦略を採用しています。
9つの高レベルおよび3つの低レベルのアクティビティで、高レベルおよび低レベルのアクティビティ認識でそれぞれ0.826および0.855 F1スコアを達成する3つの低レベルのアクティビティを評価します。高レベルと22kの低レベルモデルパラメーターで、低レベルのエンコーダーを電流IMUチップに直接展開できます。
最後に、感度分析からの結果と洞察を提示し、エゴセントリックIMUを使用した活動認識の機会と制限を強調します。

要約(オリジナル)

Human activity recognition (HAR) on smartglasses has various use cases, including health/fitness tracking and input for context-aware AI assistants. However, current approaches for egocentric activity recognition suffer from low performance or are resource-intensive. In this work, we introduce a resource (memory, compute, power, sample) efficient machine learning algorithm, EgoCHARM, for recognizing both high level and low level activities using a single egocentric (head-mounted) Inertial Measurement Unit (IMU). Our hierarchical algorithm employs a semi-supervised learning strategy, requiring primarily high level activity labels for training, to learn generalizable low level motion embeddings that can be effectively utilized for low level activity recognition. We evaluate our method on 9 high level and 3 low level activities achieving 0.826 and 0.855 F1 scores on high level and low level activity recognition respectively, with just 63k high level and 22k low level model parameters, allowing the low level encoder to be deployed directly on current IMU chips with compute. Lastly, we present results and insights from a sensitivity analysis and highlight the opportunities and limitations of activity recognition using egocentric IMUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google