GesSure — A Robust Face-Authentication enabled Dynamic Gesture Recognition GUI Application

要約

マウスやキーボードなどの物理的なインタラクティブデバイスを使用すると、自然主義的な人間と機械の相互作用が妨げられ、パンデミック時の表面接触の可能性が高まります。
既存のジェスチャ認識システムはユーザー認証を備えていないため、信頼性が低くなります。
現在のジェスチャ認識テクノロジーの静的ジェスチャは、長い適応期間を導入し、ユーザーの互換性を低下させます。
当社の技術は、ユーザーの認識と安全性に重点を置いています。
タスクの操作には意味のある関連性の高いジェスチャーを使用するため、ユーザーエクスペリエンスが向上します。
このペーパーは、グラフィカルユーザーインターフェイスを利用し、主にユーザーの認識と承認によるセキュリティに焦点を当てた、堅牢な顔認証対応のジェスチャ認識システムを設計することを目的としています。
顔モデルは、MTCNNとFaceNetを使用してユーザーを検証し、LSTM-CNNアーキテクチャを使用してジェスチャ認識を行い、5つのクラスのジェスチャで95％の精度を実現します。
私たちの研究を通じて開発されたプロトタイプは、保存、印刷、ビデオプレーヤーの操作と終了の制御などのコンテキスト依存のタスクと、スリープ、シャットダウン、ロック解除などのコンテキストのないオペレーティングシステムタスクを直感的に実行することに成功しました。
私たちのアプリケーションとデータセットはオープンソースとして利用できます。

要約(オリジナル)

Using physical interactive devices like mouse and keyboards hinders naturalistic human-machine interaction and increases the probability of surface contact during a pandemic. Existing gesture-recognition systems do not possess user authentication, making them unreliable. Static gestures in current gesture-recognition technology introduce long adaptation periods and reduce user compatibility. Our technology places a strong emphasis on user recognition and safety. We use meaningful and relevant gestures for task operation, resulting in a better user experience. This paper aims to design a robust, face-verification-enabled gesture recognition system that utilizes a graphical user interface and primarily focuses on security through user recognition and authorization. The face model uses MTCNN and FaceNet to verify the user, and our LSTM-CNN architecture for gesture recognition, achieving an accuracy of 95% with five classes of gestures. The prototype developed through our research has successfully executed context-dependent tasks like save, print, control video-player operations and exit, and context-free operating system tasks like sleep, shut-down, and unlock intuitively. Our application and dataset are available as open source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google