Analysis and Evaluation of Kinect-based Action Recognition Algorithms

要約

人間の動作認識は、さまざまな分野で広く使用されていますが、視点の違い、オクルージョン、照明条件、人体のサイズ、動作の実行速度など、依然として多くの困難な問題を抱えています。
これらの課題に取り組むために、人間の衣服の色や照明条件の影響を受けないリアルタイムの深度シーケンスを記録する Kinect 深度センサーが開発されました。
人間の行動を認識するための多くの方法が、HON4D、HOPC、RBD、HDG などの文献で報告されています。これらの方法では、それぞれ 4D 表面法線、点群、スケルトンベースのモデル、および深度勾配を使用して、深度ビデオまたはスケルトン データから識別情報をキャプチャします。
この研究プロジェクトでは、前述の 4 つのアルゴリズムのパフォーマンスが、ノイズ、視点の変更、背景のクラッター、オクルージョンなどの困難な問題をカバーする 5 つのベンチマーク データセットを使用して分析および評価されます。
また、HDG アルゴリズムを実装および改善し、UWA3D マルチビュー アクティビティ データセットを使用してクロスビュー アクション認識に適用しました。
さらに、パフォーマンス評価には、HDG の個々の特徴ベクトルのさまざまな組み合わせを使用しました。
実験結果は、HDG の改良が、クロスビュー アクション認識に関して他の 3 つの最先端のアルゴリズムよりも優れていることを示しています。

要約(オリジナル)

Human action recognition still exists many challenging problems such as different viewpoints, occlusion, lighting conditions, human body size and the speed of action execution, although it has been widely used in different areas. To tackle these challenges, the Kinect depth sensor has been developed to record real time depth sequences, which are insensitive to the color of human clothes and illumination conditions. Many methods on recognizing human action have been reported in the literature such as HON4D, HOPC, RBD and HDG, which use the 4D surface normals, pointclouds, skeleton-based model and depth gradients respectively to capture discriminative information from depth videos or skeleton data. In this research project, the performance of four aforementioned algorithms will be analyzed and evaluated using five benchmark datasets, which cover challenging issues such as noise, change of viewpoints, background clutters and occlusions. We also implemented and improved the HDG algorithm, and applied it in cross-view action recognition using the UWA3D Multiview Activity dataset. Moreover, we used different combinations of individual feature vectors in HDG for performance evaluation. The experimental results show that our improvement of HDG outperforms other three state-of-the-art algorithms for cross-view action recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google