Pose2Gest: A Few-Shot Model-Free Approach Applied In South Indian Classical Dance Gesture Recognition

要約

インドの古典舞踊は、ムドラとして知られる一連の手の動作を利用しており、姿勢語彙の基本要素として機能します。
これらのムドラを特定することは、ダンス パフォーマンスをデジタル化する際の主要なタスクとなります。
この研究では、舞踊劇であるカタカリに焦点を当て、ムードラ認識を 24 クラスの分類問題として枠組み化することで対処し、姿勢推定技術を活用した新しいベクトル類似性に基づくアプローチを提案しています。
この方法により、広範なトレーニングや微調整の必要性がなくなり、同様の AI アプリケーションによくあるデータの可用性が制限されるという問題が軽減されます。
92% の精度率を達成する当社のアプローチは、この領域における既存のモデル トレーニング ベースの方法論と同等以上のパフォーマンスを実証します。
特に、パフォーマンスはわずかに低下しますが、わずか 1 つまたは 5 つのサンプルで構成される小さなデータセットでも引き続き効果的です。
さらに、当社のシステムは画像、ビデオ、リアルタイム ストリームの処理をサポートしており、手で切り取った画像と全身画像の両方に対応します。
この研究の一環として、カタカリを含む複数の南インドの芸術形式に適用される、一般にアクセス可能なハスタ ムドラ データセットを厳選してリリースしました。
提案された方法の実装は、Web アプリケーションとしても利用可能です。

要約(オリジナル)

The classical dances from India utilize a set of hand gestures known as Mudras, serving as the foundational elements of its posture vocabulary. Identifying these mudras represents a primary task in digitizing the dance performances. With Kathakali, a dance-drama, as the focus, this work addresses mudra recognition by framing it as a 24-class classification problem and proposes a novel vector-similarity-based approach leveraging pose estimation techniques. This method obviates the need for extensive training or fine-tuning, thus mitigating the issue of limited data availability common in similar AI applications. Achieving an accuracy rate of 92%, our approach demonstrates comparable or superior performance to existing model-training-based methodologies in this domain. Notably, it remains effective even with small datasets comprising just 1 or 5 samples, albeit with a slightly diminished performance. Furthermore, our system supports processing images, videos, and real-time streams, accommodating both hand-cropped and full-body images. As part of this research, we have curated and released a publicly accessible Hasta Mudra dataset, which applies to multiple South Indian art forms including Kathakali. The implementation of the proposed method is also made available as a web application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google