Exploring Event-based Human Pose Estimation with 3D Event Representations

要約

人間の姿勢推定は、コンピューター ビジョンにおける基本的かつ魅力的なタスクです。
従来のカメラは一般的に適用されますが、イベント カメラが堅牢なソリューションを提供する高ダイナミック レンジまたは激しいモーション ブラーの下でのシナリオでは信頼性が低下します。
主流のイベントベースの方法は、個別のアクションを区別するために重要な非同期および高い時間解像度を無視して、イベントをフレームに蓄積します。
この問題に対処し、イベント情報の 3D の可能性を解き放つために、ラスター化イベント ポイント クラウド (RasEPC) と分離イベント ボクセル (DEV) という 2 つの 3D イベント表現を導入します。
RasEPC は、同じ位置の簡潔な時間スライス内のイベントを集約し、統計情報とともに 3D 属性を保存するため、メモリと計算の需要が大幅に削減されます。
一方、DEV 表現はイベントをボクセルに離散化し、3 つの直交する平面に投影し、分離されたイベント アテンションを利用して 2D 平面から 3D キューを取得します。
さらに、屋外シーンでのトレーニングと定量分析を容易にするために作成された合成イベントベースのデータセットである EV-3DPW を開発、リリースしています。
私たちの手法は、DHP19 公開データセット、MMHPSD データセット、および EV-3DPW データセットでテストされ、派生した走行シーン データセット EV-JAAD と屋外収集車両を介してさらに定性的な検証が行われます。
私たちのコードとデータセットは、https://github.com/MasterHow/EventPointPose で公開されています。

要約(オリジナル)

Human pose estimation is a fundamental and appealing task in computer vision. Although traditional cameras are commonly applied, their reliability decreases in scenarios under high dynamic range or heavy motion blur, where event cameras offer a robust solution. Predominant event-based methods accumulate events into frames, ignoring the asynchronous and high temporal resolution that is crucial for distinguishing distinct actions. To address this issue and to unlock the 3D potential of event information, we introduce two 3D event representations: the Rasterized Event Point Cloud (RasEPC) and the Decoupled Event Voxel (DEV). The RasEPC aggregates events within concise temporal slices at identical positions, preserving their 3D attributes along with statistical information, thereby significantly reducing memory and computational demands. Meanwhile, the DEV representation discretizes events into voxels and projects them across three orthogonal planes, utilizing decoupled event attention to retrieve 3D cues from the 2D planes. Furthermore, we develop and release EV-3DPW, a synthetic event-based dataset crafted to facilitate training and quantitative analysis in outdoor scenes. Our methods are tested on the DHP19 public dataset, MMHPSD dataset, and our EV-3DPW dataset, with further qualitative validation via a derived driving scene dataset EV-JAAD and an outdoor collection vehicle. Our code and dataset have been made publicly available at https://github.com/MasterHow/EventPointPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google