On-Board Pedestrian Trajectory Prediction Using Behavioral Features

要約

この論文では、視覚的な観察から推測できる歩行者の行動特性を利用する、車載カメラ システムの歩行者軌跡予測への新しいアプローチを紹介します。
Behavior-Aware Pedestrian Trajectory Prediction (BA-PTP) と呼ばれる私たちの提案する方法は、複数の入力モダリティ、つまりバウンディング ボックス、歩行者の体と頭の向き、ポーズを独立したエンコード ストリームで処理します。
各ストリームのエンコーディングは、モダリティ アテンション メカニズムを使用して融合され、画像内の将来の境界ボックスを予測するために使用される最終的な埋め込みが得られます。
歩行者の行動予測のための 2 つのデータセットに関する実験では、歩行者の軌跡予測に行動特徴を使用する利点を実証し、提案された符号化戦略の有効性を評価します。
さらに、アブレーション研究に基づいて、予測性能に対するさまざまな行動機能の関連性を調査します。

要約(オリジナル)

This paper presents a novel approach to pedestrian trajectory prediction for on-board camera systems, which utilizes behavioral features of pedestrians that can be inferred from visual observations. Our proposed method, called Behavior-Aware Pedestrian Trajectory Prediction (BA-PTP), processes multiple input modalities, i.e. bounding boxes, body and head orientation of pedestrians as well as their pose, with independent encoding streams. The encodings of each stream are fused using a modality attention mechanism, resulting in a final embedding that is used to predict future bounding boxes in the image. In experiments on two datasets for pedestrian behavior prediction, we demonstrate the benefit of using behavioral features for pedestrian trajectory prediction and evaluate the effectiveness of the proposed encoding strategy. Additionally, we investigate the relevance of different behavioral features on the prediction performance based on an ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google