Highly Efficient 3D Human Pose Tracking from Events with Spiking Spatiotemporal Transformer

要約

シーンのダイナミクスをキャプチャする非同期ビジョンセンサーとしてのイベントカメラは、非常に効率的な3Dヒューマンポーズ追跡の新しい機会を提供します。
既存のアプローチは、通常、CNNやトランスなどの現代の人工ニューラルネットワーク（ANN）を採用します。ここでは、スパースイベントが密な画像に変換されるか、入力として追加のグレースケール画像とペアになります。
ただし、このような慣行は、イベントの固有のスパース性を無視し、冗長計算、エネルギー消費の増加、およびパフォーマンスの低下をもたらします。
これらの観察に動機付けられて、イベントのみに基づいて3Dヒューマンポーズ追跡のための最初のスパーススパイクニューラルネットワーク（SNNS）フレームワークを紹介します。
私たちのアプローチは、スパースデータを密集した形式に変換したり、追加の画像を組み込んだりする必要性を排除し、それによって入力イベントの生来のスパース性を完全に活用します。
私たちのフレームワークの中心は、スパイクポーズ機能の双方向の時空融合を可能にする新しいスパイキング空間変圧器です。
さらに、大規模な合成データセットであるSyneventHPDを構築しました。これは、3Dヒトの動きの広範囲で多様なセットと、イベントストリームの長い時間を特徴としています。
経験的実験は、既存の最先端（SOTA）ベースの方法に対するアプローチの優位性を示しており、19.1％のフロップと3.6％のエネルギーコストのみを必要とします。
さらに、当社のアプローチは、このタスクで既存のSNNベースのベンチマークを上回り、提案されているSNNフレームワークの有効性を強調しています。
データセットは受け入れられるとリリースされ、コードはhttps://github.com/jimmyzou/humanposeTracking_snnにあります。

要約(オリジナル)

Event camera, as an asynchronous vision sensor capturing scene dynamics, presents new opportunities for highly efficient 3D human pose tracking. Existing approaches typically adopt modern-day Artificial Neural Networks (ANNs), such as CNNs or Transformer, where sparse events are converted into dense images or paired with additional gray-scale images as input. Such practices, however, ignore the inherent sparsity of events, resulting in redundant computations, increased energy consumption, and potentially degraded performance. Motivated by these observations, we introduce the first sparse Spiking Neural Networks (SNNs) framework for 3D human pose tracking based solely on events. Our approach eliminates the need to convert sparse data to dense formats or incorporate additional images, thereby fully exploiting the innate sparsity of input events. Central to our framework is a novel Spiking Spatiotemporal Transformer, which enables bi-directional spatiotemporal fusion of spike pose features and provides a guaranteed similarity measurement between binary spike features in spiking attention. Moreover, we have constructed a large-scale synthetic dataset, SynEventHPD, that features a broad and diverse set of 3D human motions, as well as much longer hours of event streams. Empirical experiments demonstrate the superiority of our approach over existing state-of-the-art (SOTA) ANN-based methods, requiring only 19.1% FLOPs and 3.6% energy cost. Furthermore, our approach outperforms existing SNN-based benchmarks in this task, highlighting the effectiveness of our proposed SNN framework. The dataset will be released upon acceptance, and code can be found at https://github.com/JimmyZou/HumanPoseTracking_SNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google