Active Generation Network of Human Skeleton for Action Recognition

要約

データ生成は、骨格ベースの人間の行動認識の汎化能力を強化するためのデータ拡張技術です。
既存のデータ生成方法のほとんどは、アクションのための動的な情報の時間的一貫性を確保するという課題に直面しています。
さらに、トレーニング サンプルが少数しか利用できない場合、これらの方法で生成されたデータは多様性に欠けます。
これらの問題を解決するために、我々は、特定のアクションのデータが単一サンプルまたは数サンプルのみである場合に、モーションスタイル転送によってさまざまなアクションカテゴリを適応的に学習して新しいアクションを生成できる、新しいアクティブ生成ネットワーク（AGN）を提案します。
AGN は、アクション生成ネットワークと不確実性メトリック ネットワークで構成されます。
前者は、ST-GCN をバックボーンとして使用し、ソース アクションのカテゴリ特徴を維持しながら、ターゲット アクションの形態学的特徴を暗黙的に学習できます。
後者はアクションの生成をガイドします。
具体的には、アクション認識モデルは各アクションの予測ベクトルを生成し、不確実性メトリクスを使用してスコア付けされます。
最後に、UMN は、生成されたアクションの不確実性サンプリング基準を提供します。

要約(オリジナル)

Data generation is a data augmentation technique for enhancing the generalization ability for skeleton-based human action recognition. Most existing data generation methods face challenges to ensure the temporal consistency of the dynamic information for action. In addition, the data generated by these methods lack diversity when only a few training samples are available. To solve those problems, We propose a novel active generative network (AGN), which can adaptively learn various action categories by motion style transfer to generate new actions when the data for a particular action is only a single sample or few samples. The AGN consists of an action generation network and an uncertainty metric network. The former, with ST-GCN as the Backbone, can implicitly learn the morphological features of the target action while preserving the category features of the source action. The latter guides generating actions. Specifically, an action recognition model generates prediction vectors for each action, which is then scored using an uncertainty metric. Finally, UMN provides the uncertainty sampling basis for the generated actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google