A Deep Learning Approach for Real-Time 3D Human Action Recognition from Skeletal Data

要約

我々は、骨格データからリアルタイムに3D人体動作を認識するための新しい深層学習アプローチを提示し、ビジョンベースの知的監視システムの開発に適用する。骨格配列が与えられたとき、我々は骨格のポーズとその動きを単一のRGB画像にエンコードすることを提案する。次に、適応的ヒストグラム等化（AHE）アルゴリズムをカラー画像に適用し、その局所的パターンを強調し、より識別性の高い特徴を生成する。学習と分類のタスクのために、DenseNet（Densely Connected Convolutional Architecture）に基づくDeep Neural Networksを設計し、強調されたカラー画像から特徴を抽出し、クラスに分類する。2つの困難なデータセットに対する実験結果から、提案手法は、学習と推論に必要な計算時間が少ない一方で、最先端の精度に達することが示される。また、本論文では、公共交通機関における乗客の行動を表現した新しいRGB-DデータセットであるCEMESTを紹介する。このデータセットは、現実的な正常・異常事象のトリミングされていない実世界の監視カメラ映像203本から構成されている。我々は、データ拡張と転移学習技術のサポートにより、このデータセットの実環境で有望な結果を達成した。これにより、公共交通機関の監視とセキュリティを強化するための深層学習に基づく実世界のアプリケーションを構築することができます。

要約(オリジナル)

We present a new deep learning approach for real-time 3D human action recognition from skeletal data and apply it to develop a vision-based intelligent surveillance system. Given a skeleton sequence, we propose to encode skeleton poses and their motions into a single RGB image. An Adaptive Histogram Equalization (AHE) algorithm is then applied on the color images to enhance their local patterns and generate more discriminative features. For learning and classification tasks, we design Deep Neural Networks based on the Densely Connected Convolutional Architecture (DenseNet) to extract features from enhanced-color images and classify them into classes. Experimental results on two challenging datasets show that the proposed method reaches state-of-the-art accuracy, whilst requiring low computational time for training and inference. This paper also introduces CEMEST, a new RGB-D dataset depicting passenger behaviors in public transport. It consists of 203 untrimmed real-world surveillance videos of realistic normal and anomalous events. We achieve promising results on real conditions of this dataset with the support of data augmentation and transfer learning techniques. This enables the construction of real-world applications based on deep learning for enhancing monitoring and security in public transport.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL