InfoGCN++: Learning Representation by Predicting the Future for Online Human Skeleton-based Action Recognition

要約

スケルトンベースのアクション認識は最近大幅な進歩を遂げており、InfoGCN のようなモデルは驚くべき精度を示しています。
ただし、これらのモデルには重要な制限があります。分類前に完全な行動観察が必要なため、監視やロボット システムなどのリアルタイム状況での適用性が制限されます。
この障壁を克服するために、オンラインのスケルトンベースのアクション認識用に明示的に開発された、InfoGCN の革新的な拡張機能である InfoGCN++ を導入します。
InfoGCN++ は、観測シーケンスの長さに関係なく、アクション タイプをリアルタイムで分類できるようにすることで、元の InfoGCN モデルの機能を強化します。
現在および予想される将来の動きから学習することで従来のアプローチを超え、シーケンス全体のより完全な表現を作成します。
予測への私たちのアプローチは、観察されたアクションに基づいた外挿問題として管理されます。
これを可能にするために、InfoGCN++ には、隠れ状態の継続的な進化を効果的にモデル化できる概念であるニューラル常微分方程式が組み込まれています。
3 つのスケルトン ベースのアクション認識ベンチマークでの厳密な評価を経て、InfoGCN++ はオンライン アクション認識において優れたパフォーマンスを実証しました。
これは常に既存の技術と同等かそれを上回っており、リアルタイムのアクション認識アプリケーションの状況を再構築する大きな可能性を強調しています。
その結果、この研究は InfoGCN からの大きな進歩を表し、オンラインのスケルトンベースのアクション認識で可能なことの限界を押し広げます。
InfoGCN++ のコードは、さらなる探索と検証のために https://github.com/stnoah1/infogcn2 で公開されています。

要約(オリジナル)

Skeleton-based action recognition has made significant advancements recently, with models like InfoGCN showcasing remarkable accuracy. However, these models exhibit a key limitation: they necessitate complete action observation prior to classification, which constrains their applicability in real-time situations such as surveillance and robotic systems. To overcome this barrier, we introduce InfoGCN++, an innovative extension of InfoGCN, explicitly developed for online skeleton-based action recognition. InfoGCN++ augments the abilities of the original InfoGCN model by allowing real-time categorization of action types, independent of the observation sequence’s length. It transcends conventional approaches by learning from current and anticipated future movements, thereby creating a more thorough representation of the entire sequence. Our approach to prediction is managed as an extrapolation issue, grounded on observed actions. To enable this, InfoGCN++ incorporates Neural Ordinary Differential Equations, a concept that lets it effectively model the continuous evolution of hidden states. Following rigorous evaluations on three skeleton-based action recognition benchmarks, InfoGCN++ demonstrates exceptional performance in online action recognition. It consistently equals or exceeds existing techniques, highlighting its significant potential to reshape the landscape of real-time action recognition applications. Consequently, this work represents a major leap forward from InfoGCN, pushing the limits of what’s possible in online, skeleton-based action recognition. The code for InfoGCN++ is publicly available at https://github.com/stnoah1/infogcn2 for further exploration and validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google