Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos

要約

自己中心的な RGB ビデオから動的な手の動きとアクションを理解することは、自己閉塞とあいまいさのため、基本的でありながら困難な作業です。
オクルージョンとあいまいさに対処するために、堅牢な推定のために時間情報を活用するためのトランスフォーマー ベースのフレームワークを開発します。
手のポーズ推定とアクション認識の間の異なる時間的粒度とセマンティックな相関関係に注目して、2 つのカスケード接続されたトランスフォーマー エンコーダーを使用してネットワーク階層を構築します。
-アクションを認識するために、より長い時間スパンでポーズとオブジェクト情報をフレーミングします。
私たちのアプローチは、FPHA と H2O という 2 つの一人称ハンド アクション ベンチマークで競争力のある結果を達成しています。
広範なアブレーション研究により、私たちのデザインの選択が検証されます。

要約(オリジナル)

Understanding dynamic hand motions and actions from egocentric RGB videos is a fundamental yet challenging task due to self-occlusion and ambiguity. To address occlusion and ambiguity, we develop a transformer-based framework to exploit temporal information for robust estimation. Noticing the different temporal granularity of and the semantic correlation between hand pose estimation and action recognition, we build a network hierarchy with two cascaded transformer encoders, where the first one exploits the short-term temporal cue for hand pose estimation, and the latter aggregates per-frame pose and object information over a longer time span to recognize the action. Our approach achieves competitive results on two first-person hand action benchmarks, namely FPHA and H2O. Extensive ablation studies verify our design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google