CaptAinGlove: Capacitive and Inertial Fusion-Based Glove for Real-Time on Edge Hand Gesture Recognition for Drone Control

要約

CaptAinGlove は、テキスタイルベース、低電力 (1.15 ワット)、プライバシーに配慮した、メモリ占有面積が小さい (2MB) のリアルタイムオンザエッジ (RTE) グローブベースのソリューションで、手のジェスチャーを認識するように設計されています。
ドローンの制御に使用されます。
バックボーン モデルとして軽量の畳み込みニューラル ネットワークを採用し、消費電力を削減し、精度を向上させるために階層型マルチモーダル フュージョンを採用しています。
このシステムは、9 つ​​のクラスのオフライン評価で 80% の F1 スコアをもたらしました。
8 つのハンド ジェスチャ コマンドと null アクティビティ。
RTE では、67% (1 ユーザー) の F1 スコアが得られました。

要約(オリジナル)

We present CaptAinGlove, a textile-based, low-power (1.15Watts), privacy-conscious, real-time on-the-edge (RTE) glove-based solution with a tiny memory footprint (2MB), designed to recognize hand gestures used for drone control. We employ lightweight convolutional neural networks as the backbone models and a hierarchical multimodal fusion to reduce power consumption and improve accuracy. The system yields an F1-score of 80% for the offline evaluation of nine classes; eight hand gesture commands and null activity. For the RTE, we obtained an F1-score of 67% (one user).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google