Efficient Human Pose Estimation via 3D Event Point Cloud

要約

RGB 画像に基づく人間の姿勢推定 (HPE) は、ディープ ラーニングの恩恵を受けて急速に発展しています。
ただし、イベントベースの HPE は十分に研究されておらず、極端なシーンや効率が重要な条件でのアプリケーションに大きな可能性を残しています。
この論文では、3D イベント点群から直接 2D の人間の姿勢を推定したのは初めてです。
イベントの新しい表現、ラスター化されたイベント ポイント クラウドを提案し、小さなタイム スライスの同じ位置にイベントを集約します。
複数の統計的手がかりから3D機能を維持し、メモリ消費と計算の複雑さを大幅に削減し、私たちの作業で効率的であることが証明されました.
次に、ラスター化されたイベント ポイント クラウドを 3 つの異なるバックボーン (PointNet、DGCNN、Point Transformer) への入力として活用し、2 つの線形レイヤー デコーダーを使用して人間のキーポイントの位置を予測します。
私たちの方法に基づいて、PointNetははるかに高速で有望な結果を達成するのに対し、Point Transformerは以前のイベントフレームベースの方法に近いほど、はるかに高い精度に達することがわかります.
包括的な一連の結果は、提案された方法が、イベント駆動型の人間の姿勢推定において、これらの 3D バックボーン モデルに対して一貫して有効であることを示しています。
2048 ポイント入力の PointNet に基づく私たちの方法は、DHP19 データセットの MPJPE3D で 82.46 mm を達成しますが、NVIDIA Jetson Xavier NX エッジ コンピューティング プラットフォームでは 12.29 ミリ秒のレイテンシしかなく、イベント カメラによるリアルタイム検出に理想的です。
コードは https://github.com/MasterHow/EventPointPose で入手できます。

要約(オリジナル)

Human Pose Estimation (HPE) based on RGB images has experienced a rapid development benefiting from deep learning. However, event-based HPE has not been fully studied, which remains great potential for applications in extreme scenes and efficiency-critical conditions. In this paper, we are the first to estimate 2D human pose directly from 3D event point cloud. We propose a novel representation of events, the rasterized event point cloud, aggregating events on the same position of a small time slice. It maintains the 3D features from multiple statistical cues and significantly reduces memory consumption and computation complexity, proved to be efficient in our work. We then leverage the rasterized event point cloud as input to three different backbones, PointNet, DGCNN, and Point Transformer, with two linear layer decoders to predict the location of human keypoints. We find that based on our method, PointNet achieves promising results with much faster speed, whereas Point Transfomer reaches much higher accuracy, even close to previous event-frame-based methods. A comprehensive set of results demonstrates that our proposed method is consistently effective for these 3D backbone models in event-driven human pose estimation. Our method based on PointNet with 2048 points input achieves 82.46mm in MPJPE3D on the DHP19 dataset, while only has a latency of 12.29ms on an NVIDIA Jetson Xavier NX edge computing platform, which is ideally suitable for real-time detection with event cameras. Code is available at https://github.com/MasterHow/EventPointPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google