Kathakali Hand Gesture Recognition With Minimal Data

要約

インドの古典舞踊劇「カタカリ」には、すべてのダンスの動きや姿勢の基本単位を形成するムドラと呼ばれる一連の手振りがあります。
描かれたムードラを認識することが、デジタル処理の最初のステップの 1 つになります。
この研究では、問題を 24 クラスの分類タスクとして扱い、姿勢推定を使用したベクトル類似度ベースのアプローチを提案し、さらなるトレーニングや微調整の必要性を排除しています。
このアプローチは、同様の領域での AI の適用を制限するデータ不足という課題を克服します。
このメソッドは 92% の精度を達成しており、これはドメイン内に存在する他のモデル トレーニング ベースの作業と同等かそれ以上のパフォーマンスです。さらに、このメソッドは 1 サンプルまたは 5 サンプルという小さなデータ サイズでも動作し、サンプル数がわずかに減少しても動作できるという追加の利点があります。
パフォーマンス。
画像、ビデオ、さらにはリアルタイム ストリームの操作も可能です。
このシステムは、手で切り取った画像や全身画像を同様に処理できます。
私たちはこの作業の一環として、カタカリ ムドラ認識のためのデータセットを開発し、公開しました。

要約(オリジナル)

The Indian classical dance-drama Kathakali has a set of hand gestures called Mudras, which form the fundamental units of all its dance moves and postures. Recognizing the depicted mudra becomes one of the first steps in its digital processing. The work treats the problem as a 24-class classification task and proposes a vector-similarity-based approach using pose estimation, eliminating the need for further training or fine-tuning. This approach overcomes the challenge of data scarcity that limits the application of AI in similar domains. The method attains 92% accuracy which is a similar or better performance as other model-training-based works existing in the domain, with the added advantage that the method can still work with data sizes as small as 1 or 5 samples with a slightly reduced performance. Working with images, videos, and even real-time streams is possible. The system can work with hand-cropped or full-body images alike. We have developed and made public a dataset for the Kathakali Mudra Recognition as part of this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google