Towards Practical Human Motion Prediction with LiDAR Point Clouds

要約

人間の動きの予測は、人間中心のマルチメディアの理解と対話にとって非常に重要です。
現在の方法は通常、観測された入力としてグラウンド トゥルースの人間のポーズに依存していますが、生の視覚センサー データのみが利用可能な現実世界のシナリオでは実用的ではありません。
これらの方法を実際に実装するには、姿勢推定のプレフレーズが不可欠です。
ただし、このような 2 段階のアプローチでは、エラーの蓄積によるパフォーマンスの低下が生じることがよくあります。
さらに、生の視覚データをまばらなキーポイント表現に削減すると、情報密度が大幅に減少し、その結果、きめの細かい特徴が失われます。
この論文では、生の LiDAR 点群を入力として受け取り、将来の 3D 人間の姿勢を直接予測する、初の単一 LiDAR ベースの 3D 人間の動き予測アプローチである \textit{LiDAR-HMP} を提案します。
当社の新しい構造認識身体特徴記述子に基づいて、LiDAR-HMP は、観察された動きの多様体を将来のポーズに適応的にマッピングし、予測結果をさらに改良するために人間の動きの時空間相関を効果的にモデル化します。
広範な実験により、私たちの手法が 2 つの公開ベンチマークで最先端のパフォーマンスを達成し、実際の展開において顕著な堅牢性と有効性を実証したことが示されています。

要約(オリジナル)

Human motion prediction is crucial for human-centric multimedia understanding and interacting. Current methods typically rely on ground truth human poses as observed input, which is not practical for real-world scenarios where only raw visual sensor data is available. To implement these methods in practice, a pre-phrase of pose estimation is essential. However, such two-stage approaches often lead to performance degradation due to the accumulation of errors. Moreover, reducing raw visual data to sparse keypoint representations significantly diminishes the density of information, resulting in the loss of fine-grained features. In this paper, we propose \textit{LiDAR-HMP}, the first single-LiDAR-based 3D human motion prediction approach, which receives the raw LiDAR point cloud as input and forecasts future 3D human poses directly. Building upon our novel structure-aware body feature descriptor, LiDAR-HMP adaptively maps the observed motion manifold to future poses and effectively models the spatial-temporal correlations of human motions for further refinement of prediction results. Extensive experiments show that our method achieves state-of-the-art performance on two public benchmarks and demonstrates remarkable robustness and efficacy in real-world deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google