Agile gesture recognition for capacitive sensing devices: adapting on-the-job

要約

ハンドジェスチャーの自動認識は、数十年にわたりAIコミュニティの焦点となっています。従来、この分野の研究は、ユーザーの手の画像の流れが利用可能であることを前提としたシナリオを中心に展開されてきました。これは、カメラ付きデバイスが普及し、画像データが広く利用できるようになったことが一因となっています。しかし、手の画像のような高次元の入力ではなく、限られたセンサーデータを用いて低消費電力デバイスで実装できるジェスチャー認識技術への需要が高まっています。本研究では、eteeハンドコントローラに内蔵された静電容量式センサからの信号を利用したハンドジェスチャー認識システムおよび方法を実証します。このコントローラは、装着者の5本の指それぞれからリアルタイムで信号を生成します。機械学習技術を使用して時系列信号を分析し、500ミリ秒以内に5本の指を表現できる3つの特徴を特定します。解析は、主成分分析による次元削減とK最近傍による分類を含む、2段階の学習戦略で構成されています。驚くべきことに、この組み合わせは、教師あり変分オートエンコーダのようなより高度な手法に匹敵するレベルの性能を示すことがわかりました。また、ベースシステムに適応型エラー訂正機構を追加することで、時折発生するエラーから学習する機能を持たせることができます。その結果、誤差補正機構はベースシステムの性能を損なうことなく、分類性能を向上させることがわかった。本システムは、入力サンプル1つにつき1ms以下の計算時間で済み、ディープニューラルネットワークよりも小さいため、本技術に基づく俊敏なジェスチャー認識システムの実現可能性が示されました。

要約(オリジナル)

Automated hand gesture recognition has been a focus of the AI community for decades. Traditionally, work in this domain revolved largely around scenarios assuming the availability of the flow of images of the user hands. This has partly been due to the prevalence of camera-based devices and the wide availability of image data. However, there is growing demand for gesture recognition technology that can be implemented on low-power devices using limited sensor data instead of high-dimensional inputs like hand images. In this work, we demonstrate a hand gesture recognition system and method that uses signals from capacitive sensors embedded into the etee hand controller. The controller generates real-time signals from each of the wearer five fingers. We use a machine learning technique to analyse the time series signals and identify three features that can represent 5 fingers within 500 ms. The analysis is composed of a two stage training strategy, including dimension reduction through principal component analysis and classification with K nearest neighbour. Remarkably, we found that this combination showed a level of performance which was comparable to more advanced methods such as supervised variational autoencoder. The base system can also be equipped with the capability to learn from occasional errors by providing it with an additional adaptive error correction mechanism. The results showed that the error corrector improve the classification performance in the base system without compromising its performance. The system requires no more than 1 ms of computing time per input sample, and is smaller than deep neural networks, demonstrating the feasibility of agile gesture recognition systems based on this technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL