Enhancing Hand Palm Motion Gesture Recognition by Eliminating Reference Frame Bias via Frame-Invariant Similarity Measures

要約

ロボットが人間のジェスチャーを認識する能力は、自然でアクセス可能な人間のロボットコラボレーションを促進します。
ただし、ジェスチャー認識のほとんどの作業は、参照フレーム依存表現に根ざしたままです。
これは、参照フレームが異なる作業セルレイアウト、不正確なフレームのキャリブレーション、またはその他の環境の変化により異なる場合に課題をもたらします。
このペーパーでは、参照フレームの変更下での堅牢なハンドパームモーションジェスチャー認識のために、不変の軌跡記述子の使用を調査しました。
まず、録音されたハンドパームモーション（HPM）ジェスチャーの新しいデータセットが導入されています。
このデータセットのモーションジェスチャーは、特定の参照フレームまたは方向性キューに依存せずに区別できるように特異的に設計されました。
その後、複数の不変の軌跡記述子アプローチをベンチマークして、そのパフォーマンスがこの新しいHPMデータセットにどのように一般化されるかを評価しました。
このオフラインベンチマークの後、最良のスコアリングアプローチは、リアルタイムの概念実証（POC）を開発することにより、オンライン認識のために検証されます。
このPOCでは、手のひらの動きジェスチャーを使用して、マニピュレーターアームのリアルタイムの動きを制御しました。
POCは、リアルタイム操作で高い認識の信頼性を示し、92.3％の$ f_1 $スコアを達成しました。
この作業は、スタンドアロンソリューションとしての不変記述子アプローチの有効性を示しています。
さらに、不変の記述子アプローチは、参照フレームのバリエーションに対する堅牢性を改善するために、他の最先端のパターン認識および学習システム内でも利用できると考えています。

要約(オリジナル)

The ability of robots to recognize human gestures facilitates a natural and accessible human-robot collaboration. However, most work in gesture recognition remains rooted in reference frame-dependent representations. This poses a challenge when reference frames vary due to different work cell layouts, imprecise frame calibrations, or other environmental changes. This paper investigated the use of invariant trajectory descriptors for robust hand palm motion gesture recognition under reference frame changes. First, a novel dataset of recorded Hand Palm Motion (HPM) gestures is introduced. The motion gestures in this dataset were specifically designed to be distinguishable without dependence on specific reference frames or directional cues. Afterwards, multiple invariant trajectory descriptor approaches were benchmarked to assess how their performances generalize to this novel HPM dataset. After this offline benchmarking, the best scoring approach is validated for online recognition by developing a real-time Proof of Concept (PoC). In this PoC, hand palm motion gestures were used to control the real-time movement of a manipulator arm. The PoC demonstrated a high recognition reliability in real-time operation, achieving an $F_1$-score of 92.3%. This work demonstrates the effectiveness of the invariant descriptor approach as a standalone solution. Moreover, we believe that the invariant descriptor approach can also be utilized within other state-of-the-art pattern recognition and learning systems to improve their robustness against reference frame variations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google