EPAM-Net: An Efficient Pose-driven Attention-guided Multimodal Network for Video Action Recognition

要約

既存のマルチモーダルベースのヒューマンアクション認識アプローチは計算集中的であり、リアルタイムアプリケーションでの展開を制限しています。
この作業では、ビデオでのアクション認識のために、斬新で効率的なポーズ駆動型の注意誘導マルチモーダルネットワーク（EPAM-NET）を紹介します。
具体的には、RGBの拡張時間シフト（x-shiftnet）の畳み込みアーキテクチャとポーズストリームを提案し、RGBビデオとそのスケルトンシーケンスから時空間的特徴をキャプチャします。
X-ShiftNetは、時間シフトモジュール（TSM）を効率的な2D CNNに統合して、効率的な時空学習を可能にすることにより、3D CNNの高い計算コストに取り組みます。
次に、スケルトン機能を利用して、視覚的なネットワークストリームをガイドし、提案された空間的注意ブロックを使用してキーフレームとその顕著な空間領域に焦点を当てています。
最後に、2つのストリームの予測は、最終的な分類のために融合されます。
実験結果は、フローティングポイント操作（FLOPS）が大幅に減少し、NTU RGB-D 60、NTU RGB-D 120、PKU-MMD、およびトヨタスマートームデータセットの最先端の方法と競合する方法を示していることを示しています。
提案されているEPAM-NETは、フロップの最大72.8倍の削減と、ネットワークパラメーターの数が最大48.6倍の削減を提供します。
このコードは、https：//github.com/ahmed-nady/multimodal-action-cognitionで入手できます。

要約(オリジナル)

Existing multimodal-based human action recognition approaches are computationally intensive, limiting their deployment in real-time applications. In this work, we present a novel and efficient pose-driven attention-guided multimodal network (EPAM-Net) for action recognition in videos. Specifically, we propose eXpand temporal Shift (X-ShiftNet) convolutional architectures for RGB and pose streams to capture spatio-temporal features from RGB videos and their skeleton sequences. The X-ShiftNet tackles the high computational cost of the 3D CNNs by integrating the Temporal Shift Module (TSM) into an efficient 2D CNN, enabling efficient spatiotemporal learning. Then skeleton features are utilized to guide the visual network stream, focusing on keyframes and their salient spatial regions using the proposed spatial-temporal attention block. Finally, the predictions of the two streams are fused for final classification. The experimental results show that our method, with a significant reduction in floating-point operations (FLOPs), outperforms and competes with the state-of-the-art methods on NTU RGB-D 60, NTU RGB-D 120, PKU-MMD, and Toyota SmartHome datasets. The proposed EPAM-Net provides up to a 72.8x reduction in FLOPs and up to a 48.6x reduction in the number of network parameters. The code will be available at https://github.com/ahmed-nady/Multimodal-Action-Recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google