CHASE: Learning Convex Hull Adaptive Shift for Skeleton-based Multi-Entity Action Recognition

要約

スケルトンベースのマルチエンティティのアクション認識は、複数の多様なエンティティが関与するインタラクティブなアクションやグループ活動を識別することを目的とした難しいタスクです。
個人向けの既存のモデルでは、エンティティ スケルトン間の固有の分布の不一致により、このタスクでは不十分なことが多く、バックボーンの最適化が最適化されていません。
この目的を達成するために、エンティティ間の分布ギャップを緩和し、後続のバックボーンを公平化する、凸包適応シフト ベースのマルチエンティティ アクション認識方法 (CHASE) を導入します。
具体的には、CHASE は、学習可能なパラメータ化されたネットワークと補助目標で構成されます。
パラメーター化されたネットワークは、2 つの主要なコンポーネントを通じて、サンプルに適応したスケルトン シーケンスの再配置を実現します。
まず、暗黙的な凸包制約適応シフトにより、座標系の新しい原点がスケルトン凸包内にあることが保証されます。
第 2 に、係数学習ブロックは、スケルトン シーケンスから凸組み合わせの特定の係数へのマッピングの軽量パラメータ化を提供します。
さらに、不一致を最小限に抑えるためのこのネットワークの最適化を導くために、追加の目的としてミニバッチのペアごとの最大平均不一致を提案します。
CHASE は、エンティティ間の分布の不一致を軽減するサンプル適応正規化手法として動作し、それによってデータの偏りを軽減し、後続の分類器のマルチエンティティ アクション認識パフォーマンスを向上させます。
NTU Mutual 11/26、H2O、Assembly101、集団アクティビティ、バレーボールを含む 6 つのデータセットに対する広範な実験により、単一エンティティのバックボーンにシームレスに適応し、複数エンティティのシナリオでのパフォーマンスを向上させることで、私たちのアプローチが一貫して検証されています。
私たちのコードは https://github.com/Necolizer/CHASE で公開されています。

要約(オリジナル)

Skeleton-based multi-entity action recognition is a challenging task aiming to identify interactive actions or group activities involving multiple diverse entities. Existing models for individuals often fall short in this task due to the inherent distribution discrepancies among entity skeletons, leading to suboptimal backbone optimization. To this end, we introduce a Convex Hull Adaptive Shift based multi-Entity action recognition method (CHASE), which mitigates inter-entity distribution gaps and unbiases subsequent backbones. Specifically, CHASE comprises a learnable parameterized network and an auxiliary objective. The parameterized network achieves plausible, sample-adaptive repositioning of skeleton sequences through two key components. First, the Implicit Convex Hull Constrained Adaptive Shift ensures that the new origin of the coordinate system is within the skeleton convex hull. Second, the Coefficient Learning Block provides a lightweight parameterization of the mapping from skeleton sequences to their specific coefficients in convex combinations. Moreover, to guide the optimization of this network for discrepancy minimization, we propose the Mini-batch Pair-wise Maximum Mean Discrepancy as the additional objective. CHASE operates as a sample-adaptive normalization method to mitigate inter-entity distribution discrepancies, thereby reducing data bias and improving the subsequent classifier’s multi-entity action recognition performance. Extensive experiments on six datasets, including NTU Mutual 11/26, H2O, Assembly101, Collective Activity and Volleyball, consistently verify our approach by seamlessly adapting to single-entity backbones and boosting their performance in multi-entity scenarios. Our code is publicly available at https://github.com/Necolizer/CHASE .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google