Helios: An extremely low power event-based gesture recognition for always-on smart eyewear

要約

この文書では、スマート アイウェアを一日中装着できるように設計された初の超低電力、リアルタイム、イベントベースのハンド ジェスチャ認識システムである Helios について紹介します。
拡張現実 (AR) が進化するにつれて、メタ レイバンのような現在のスマート グラスは、機能を犠牲にして視覚と着用の快適さを優先しています。
静電容量式タッチや音声コントロールなど、これらのデバイスの既存のヒューマン マシン インターフェイス (HMI) には、人間工学、プライバシー、消費電力の点で制限があります。
Helios は、より直観的で快適なユーザー エクスペリエンスを実現する自然な手の操作を活用することで、これらの課題に対処します。
当社のシステムは、非常に低電力でコンパクトな 3mmx4mm/20mW イベント カメラを利用して、常時オンのスマート アイウェアに対して自然な手ベースのジェスチャ認識を実行します。
カメラの出力は、NXP Nano UltraLite コンピューティング プラットフォーム上で実行される畳み込みニューラル ネットワーク (CNN) によって処理され、消費電力は 350mW 未満です。
Helios は、スワイプやピンチなどの微妙なマイクロジェスチャを含む 7 クラスのジェスチャを 91% の精度で認識できます。
また、60 ミリ秒という驚くべき低遅延で 20 人のユーザーにわたるリアルタイム パフォーマンスも実証しました。
当社のユーザー テストの結果は、AWE-USA-2024 での最近の成功したデモ中に受け取った肯定的なフィードバックと一致しています。

要約(オリジナル)

This paper introduces Helios, the first extremely low-power, real-time, event-based hand gesture recognition system designed for all-day on smart eyewear. As augmented reality (AR) evolves, current smart glasses like the Meta Ray-Bans prioritize visual and wearable comfort at the expense of functionality. Existing human-machine interfaces (HMIs) in these devices, such as capacitive touch and voice controls, present limitations in ergonomics, privacy and power consumption. Helios addresses these challenges by leveraging natural hand interactions for a more intuitive and comfortable user experience. Our system utilizes a extremely low-power and compact 3mmx4mm/20mW event camera to perform natural hand-based gesture recognition for always-on smart eyewear. The camera’s output is processed by a convolutional neural network (CNN) running on a NXP Nano UltraLite compute platform, consuming less than 350mW. Helios can recognize seven classes of gestures, including subtle microgestures like swipes and pinches, with 91% accuracy. We also demonstrate real-time performance across 20 users at a remarkably low latency of 60ms. Our user testing results align with the positive feedback we received during our recent successful demo at AWE-USA-2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google