Local Spherical Harmonics Improve Skeleton-Based Hand Action Recognition

要約

手の動作の認識は不可欠です。
コミュニケーション、人間とロボットの対話、ジェスチャー制御はこれに依存しています。
スケルトンベースの動作認識には伝統的に手が含まれていますが、これは現在まで正確に認識することが依然として困難なクラスに属しています。
我々は、相対角度埋め込みと局所球面調和関数を使用して新しい手の表現を作成する、手の動作認識用に特別に設計された方法を提案します。
球面調和関数を使用すると、回転不変の表現が作成され、被験者間の違いや視点の変化に対して手の動作認識がさらに堅牢になります。
私たちは、RGB-D ビデオと 3D ハンド ポーズ アノテーションを使用した一人称ハンド アクション ベンチマークの手の関節と、NTU RGB+D 120 データセットで広範な実験を実施し、ローカル球面調和関数表現を使用する利点を実証しました。
私たちのコードは https://github.com/KathPra/LSHR_LSHT で入手できます。

要約(オリジナル)

Hand action recognition is essential. Communication, human-robot interactions, and gesture control are dependent on it. Skeleton-based action recognition traditionally includes hands, which belong to the classes which remain challenging to correctly recognize to date. We propose a method specifically designed for hand action recognition which uses relative angular embeddings and local Spherical Harmonics to create novel hand representations. The use of Spherical Harmonics creates rotation-invariant representations which make hand action recognition even more robust against inter-subject differences and viewpoint changes. We conduct extensive experiments on the hand joints in the First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations, and on the NTU RGB+D 120 dataset, demonstrating the benefit of using Local Spherical Harmonics Representations. Our code is available at https://github.com/KathPra/LSHR_LSHT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google