On the Utility of 3D Hand Poses for Action Recognition

要約

3D ハンドポーズは、動作認識のためのまだ研究されていないモダリティです。
ポーズはコンパクトでありながら有益であり、コンピューティング予算が限られているアプリケーションに大きなメリットをもたらします。
ただし、ポーズだけでは、人間が相互作用する物体や環境を完全に捉えることができないため、動作を不完全に理解することができます。
私たちは、手とオブジェクトの相互作用を効率的にモデル化するための新しいマルチモーダル トランスフォーマーである HandFormer を提案します。
HandFormer は、シーン セマンティクスをエンコードするためにまばらにサンプリングされた RGB フレームと、きめ細かいモーション モデリングのための高い時間解像度で 3D 手のポーズを組み合わせます。
手のポーズの独特な特徴を観察し、手のモデリングを時間的に因数分解し、各関節をその短期的な軌道で表現します。
この因数分解されたポーズ表現とスパース RGB サンプルを組み合わせたものは、非常に効率的で高精度です。
手のポーズのみを使用するユニモーダル HandFormer は、5 分の 1 の FLOP で既存のスケルトンベースのメソッドよりも優れたパフォーマンスを発揮します。
RGB を使用すると、Assembly101 と H2O で新しい最先端のパフォーマンスが実現され、自己中心的なアクション認識が大幅に向上します。

要約(オリジナル)

3D hand pose is an underexplored modality for action recognition. Poses are compact yet informative and can greatly benefit applications with limited compute budgets. However, poses alone offer an incomplete understanding of actions, as they cannot fully capture objects and environments with which humans interact. We propose HandFormer, a novel multimodal transformer, to efficiently model hand-object interactions. HandFormer combines 3D hand poses at a high temporal resolution for fine-grained motion modeling with sparsely sampled RGB frames for encoding scene semantics. Observing the unique characteristics of hand poses, we temporally factorize hand modeling and represent each joint by its short-term trajectories. This factorized pose representation combined with sparse RGB samples is remarkably efficient and highly accurate. Unimodal HandFormer with only hand poses outperforms existing skeleton-based methods at 5x fewer FLOPs. With RGB, we achieve new state-of-the-art performance on Assembly101 and H2O with significant improvements in egocentric action recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google