Literature on Hand GESTURE Recognition using Graph based methods

要約

スケルトンに基づく認識システムは人気を博しており、スケルトン内の点や関節に着目した機械学習モデルは、計算効率が高く、ロボット工学などの多くの分野で応用されていることが証明されている。点群の追跡が容易であるため、必要な情報を抽象化する際に重要な役割を果たす空間的・時間的情報を保持することができ、分類が容易になる。この論文では、点の集まりをクラウドと定義し、クラウドのメカニズムを用いてこれらの点を研究することを目的としている。しかし、時間情報を加えた場合、各フレームにおける点の座標を取得できない可能性があるため、1つの点に注目するのではなく、k-neighborsを用いて、対象となる点の状態を取得することが可能である。私たちの焦点は、重み共有を使ってそのような情報を集めることですが、近傍から情報を取り出そうとするとき、ノイズを一緒に持ち込まないようにすることです。長期的なモデリング能力を持ち、時間的・空間的な情報を運ぶことができるLSTM。本稿では、グラフを用いたジェスチャー認識手法についてまとめてみた。

要約(オリジナル)

Skeleton based recognition systems are gaining popularity and machine learning models focusing on points or joints in a skeleton have proved to be computationally effective and application in many areas like Robotics. It is easy to track points and thereby preserving spatial and temporal information, which plays an important role in abstracting the required information, classification becomes an easy task. In this paper, we aim to study these points but using a cloud mechanism, where we define a cloud as collection of points. However, when we add temporal information, it may not be possible to retrieve the coordinates of a point in each frame and hence instead of focusing on a single point, we can use k-neighbors to retrieve the state of the point under discussion. Our focus is to gather such information using weight sharing but making sure that when we try to retrieve the information from neighbors, we do not carry noise with it. LSTM which has capability of long-term modelling and can carry both temporal and spatial information. In this article we tried to summarise graph based gesture recognition method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL