GRLib: An Open-Source Hand Gesture Detection and Recognition Python Library

要約

ハンド ジェスチャ認識システムは、人間がコンピュータ システムと対話するための自然な方法を提供します。
このタスク用にさまざまなアルゴリズムが設計されていますが、照明が不十分であったり、カメラからの距離が離れていたりするなど、さまざまな外部条件により、さまざまな環境で良好に機能するアルゴリズムを作成することが困難になります。
この研究では、静的および動的ハンド ジェスチャを検出および分類できるオープンソース Python ライブラリである GRLib を紹介します。
さらに、分類の堅牢性を向上させるために、ライブラリを既存のデータでトレーニングすることができます。
提案されたソリューションは、RGB カメラからのフィードを利用します。
取得されたフレームはデータ拡張を受け、MediaPipe Hands に渡されて手のランドマーク検出が実行されます。
次に、ランドマークはそれぞれのジェスチャ クラスに分類されます。
このライブラリは、軌跡とキーフレーム抽出を通じて動的なハンド ジェスチャをサポートします。
このライブラリは、3 つの多様な現実世界のデータセット上で、公的に利用可能な別の HGR システムである MediaPipe Solutions よりも優れたパフォーマンスを発揮することがわかりました。
このライブラリは https://github.com/mikhail-vlasenko/grlib で入手でき、pip を使用してインストールできます。

要約(オリジナル)

Hand gesture recognition systems provide a natural way for humans to interact with computer systems. Although various algorithms have been designed for this task, a host of external conditions, such as poor lighting or distance from the camera, make it difficult to create an algorithm that performs well across a range of environments. In this work, we present GRLib: an open-source Python library able to detect and classify static and dynamic hand gestures. Moreover, the library can be trained on existing data for improved classification robustness. The proposed solution utilizes a feed from an RGB camera. The retrieved frames are then subjected to data augmentation and passed on to MediaPipe Hands to perform hand landmark detection. The landmarks are then classified into their respective gesture class. The library supports dynamic hand gestures through trajectories and keyframe extraction. It was found that the library outperforms another publicly available HGR system – MediaPipe Solutions, on three diverse, real-world datasets. The library is available at https://github.com/mikhail-vlasenko/grlib and can be installed with pip.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google