Rethinking Event-based Human Pose Estimation with 3D Event Representations

要約

人間の姿勢推定は、コンピュータビジョンにおける基本的かつ魅力的なタスクである。従来のフレームベースのカメラやビデオは一般的に適用されているが、高ダイナミックレンジや激しいモーションブラー下のシナリオでは信頼性が低くなる。対照的に、イベントカメラは、このような困難なコンテクストをナビゲートするためのロバストなソリューションを提供する。一般的な手法では、イベントをイベントフレームに蓄積することで、イベントカメラを学習フレームワークに組み込んでいる。しかし、このような手法は、イベントの本質的な非同期性と高い時間分解能の特徴を無視する傾向がある。この軽視は、明確な行動を識別するために重要な、本質的な時間次元データの損失につながる。この問題に対処し、イベント情報の3Dポテンシャルを引き出すために、私たちは2つの3Dイベント表現を導入します：ラスタライズド・イベント・ポイントクラウド（RasEPC）とデカップルド・イベント・ボクセル（DEV）です。RasEPCは同一位置の簡潔な時間スライス内にイベントを照合し、統計的な手がかりで3D属性を保持し、メモリと計算の要求を著しく軽減する。一方、DEV表現はイベントをボクセルに離散化し、3つの直交する平面に投影する。さらに、屋外シーンにおける訓練と定量分析を容易にするために、合成イベントベースのデータセットであるEV-3DPWを開発し、公開する。実世界で公開されているDHP19データセットにおいて、我々のイベント点群手法はリアルタイム移動予測に優れ、非結合イベントボクセル手法は最高精度を達成した。EV-3DPWを用いた実験では、従来のRGB画像やイベントフレーム手法と比較して、提案する3次元表現手法の頑健性が同じバックボーン下で実証された。我々のコードとデータセットは、https://github.com/MasterHow/EventPointPose で公開されている。

要約(オリジナル)

Human pose estimation is a fundamental and appealing task in computer vision. Traditional frame-based cameras and videos are commonly applied, yet, they become less reliable in scenarios under high dynamic range or heavy motion blur. In contrast, event cameras offer a robust solution for navigating these challenging contexts. Predominant methodologies incorporate event cameras into learning frameworks by accumulating events into event frames. However, such methods tend to marginalize the intrinsic asynchronous and high temporal resolution characteristics of events. This disregard leads to a loss in essential temporal dimension data, crucial for discerning distinct actions. To address this issue and to unlock the 3D potential of event information, we introduce two 3D event representations: the Rasterized Event Point Cloud (RasEPC) and the Decoupled Event Voxel (DEV). The RasEPC collates events within concise temporal slices at identical positions, preserving 3D attributes with statistical cues and markedly mitigating memory and computational demands. Meanwhile, the DEV representation discretizes events into voxels and projects them across three orthogonal planes, utilizing decoupled event attention to retrieve 3D cues from the 2D planes. Furthermore, we develop and release EV-3DPW, a synthetic event-based dataset crafted to facilitate training and quantitative analysis in outdoor scenes. On the public real-world DHP19 dataset, our event point cloud technique excels in real-time mobile predictions, while the decoupled event voxel method achieves the highest accuracy. Experiments on EV-3DPW demonstrate that the robustness of our proposed 3D representation methods compared to traditional RGB images and event frame techniques under the same backbones. Our code and dataset have been made publicly available at https://github.com/MasterHow/EventPointPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL