Rethinking Event-based Human Pose Estimation with 3D Event Representations

要約

人間の姿勢推定は自動運転や自動駐車において重要な要素であり、人間の行動を予測することで安全性を高めます。
従来のフレームベースのカメラとビデオが一般的に適用されていますが、高ダイナミック レンジや激しいモーション ブラーが発生するシナリオでは信頼性が低くなります。
対照的に、イベント カメラは、これらの困難な状況をナビゲートするための堅牢なソリューションを提供します。
主な方法論では、イベントをイベント フレームに蓄積することで、イベント カメラを学習フレームワークに組み込んでいます。
ただし、このような方法では、イベントの本質的な非同期性と高い時間分解能の特性が無視される傾向があります。
この無視は、人間の動的な活動に関連する安全性が重要なタスクに不可欠な、重要な時間次元データの損失につながります。
この問題に対処し、イベント情報の 3D の可能性を解き放つために、ラスター化イベント ポイント クラウド (RasEPC) と分離イベント ボクセル (DEV) という 2 つの 3D イベント表現を導入します。
RasEPC は、同じ位置の簡潔な時間スライス内のイベントを照合し、統計的な手がかりで 3D 属性を保存し、メモリと計算の需要を大幅に軽減します。
一方、DEV 表現はイベントをボクセルに離散化し、3 つの直交する平面に投影し、分離されたイベント アテンションを利用して 2D 平面から 3D キューを取得します。
さらに、屋外シーンでのトレーニングと定量分析を容易にするために作成された合成イベントベースのデータセットである EV-3DPW を開発、リリースしています。
公開されている実世界の DHP19 データセットでは、当社のイベント ポイント クラウド手法はリアルタイムのモバイル予測に優れており、分離されたイベント ボクセル手法は最高の精度を実現します。
実験により、従来の RGB 画像やイベント フレーム技術に対して、私たちが提案する 3D 表現手法の優れた一般化能力が明らかになりました。
コードとデータセットは https://github.com/MasterHow/EventPointPose で入手できます。

要約(オリジナル)

Human pose estimation is a critical component in autonomous driving and parking, enhancing safety by predicting human actions. Traditional frame-based cameras and videos are commonly applied, yet, they become less reliable in scenarios under high dynamic range or heavy motion blur. In contrast, event cameras offer a robust solution for navigating these challenging contexts. Predominant methodologies incorporate event cameras into learning frameworks by accumulating events into event frames. However, such methods tend to marginalize the intrinsic asynchronous and high temporal resolution characteristics of events. This disregard leads to a loss in essential temporal dimension data, crucial for safety-critical tasks associated with dynamic human activities. To address this issue and to unlock the 3D potential of event information, we introduce two 3D event representations: the Rasterized Event Point Cloud (RasEPC) and the Decoupled Event Voxel (DEV). The RasEPC collates events within concise temporal slices at identical positions, preserving 3D attributes with statistical cues and markedly mitigating memory and computational demands. Meanwhile, the DEV representation discretizes events into voxels and projects them across three orthogonal planes, utilizing decoupled event attention to retrieve 3D cues from the 2D planes. Furthermore, we develop and release EV-3DPW, a synthetic event-based dataset crafted to facilitate training and quantitative analysis in outdoor scenes. On the public real-world DHP19 dataset, our event point cloud technique excels in real-time mobile predictions, while the decoupled event voxel method achieves the highest accuracy. Experiments reveal our proposed 3D representation methods’ superior generalization capacities against traditional RGB images and event frame techniques. Our code and dataset are available at https://github.com/MasterHow/EventPointPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google