Pedestrian Crossing Action Recognition and Trajectory Prediction with 3D Human Keypoints

要約

人間の行動を正確に理解し予測することは、自律走行車、特に密集した都市部の交差点のような非常にダイナミックでインタラクティブなシナリオにおいて、重要な前提条件となる。本研究では、横断歩行者を識別し、その将来の軌道を予測することを目的とする。これらの目標を達成するためには、道路形状や他の交通参加者のコンテキスト情報が必要なだけでなく、人間のキーポイントから推測される人間の姿勢、運動、活動に関するきめ細かな情報も必要である。本論文では、歩行者の横断行動認識と軌跡予測のための新しいマルチタスク学習フレームワークを提案し、生のセンサーデータから抽出された3D人間キーポイントを利用して、人間のポーズと活動に関する豊富な情報を取得する。さらに、2つの補助タスクと対比学習を適用することで、学習したキーポイント表現を改善するための補助スーパービジョンを可能にし、主要タスクの性能をさらに向上させることを提案する。本アプローチを大規模な社内データセット、および公開ベンチマークデータセットで検証し、本アプローチが幅広い評価指標で最先端の性能を達成することを示す。各モデルコンポーネントの有効性は、詳細なアブレーション研究において検証される。

要約(オリジナル)

Accurate understanding and prediction of human behaviors are critical prerequisites for autonomous vehicles, especially in highly dynamic and interactive scenarios such as intersections in dense urban areas. In this work, we aim at identifying crossing pedestrians and predicting their future trajectories. To achieve these goals, we not only need the context information of road geometry and other traffic participants but also need fine-grained information of the human pose, motion and activity, which can be inferred from human keypoints. In this paper, we propose a novel multi-task learning framework for pedestrian crossing action recognition and trajectory prediction, which utilizes 3D human keypoints extracted from raw sensor data to capture rich information on human pose and activity. Moreover, we propose to apply two auxiliary tasks and contrastive learning to enable auxiliary supervisions to improve the learned keypoints representation, which further enhances the performance of major tasks. We validate our approach on a large-scale in-house dataset, as well as a public benchmark dataset, and show that our approach achieves state-of-the-art performance on a wide range of evaluation metrics. The effectiveness of each model component is validated in a detailed ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL