CrowdMAC: Masked Crowd Density Completion for Robust Crowd Density Forecasting

要約

群集密度予測タスクは、観察された過去の群集密度マップから、群集密度マップが将来どのように変化するかを予測することを目的としています。
しかし、これまでの混雑密度マップは歩行者の誤検出により不完全であることが多く、誤検出に対する堅牢な混雑密度予測モデルを開発することが重要です。
この論文では、群衆密度予測のためのマスクされた群衆密度完了フレームワーク (CrowdMAC) を紹介します。これは、部分的にマスクされた過去の群衆密度マップから将来の群衆密度マップを予測する (つまり、誤検出のある過去のマップからマップを予測する) と同時に、
マスクされた観測マップ (つまり、過去のマップに誤検出を代入)。
さらに、群衆密度マップのまばらさと予測タスクの後続のフレームの情報提供性を考慮して、観察された群衆密度マップ内のトークンを不均一にマスクする時間密度認識マスキング (TDM) を提案します。
さらに、トレーニング効率を高めるためにマルチタスク マスキングを導入します。
実験では、CrowdMAC は SDD、ETH-UCY、inD、JRDB、VSCrowd、FDST、croHD を含む 7 つの大規模データセットで最先端のパフォーマンスを達成しました。
また、合成および現実的な誤検出の両方に対する提案された方法の堅牢性も示します。

要約(オリジナル)

A crowd density forecasting task aims to predict how the crowd density map will change in the future from observed past crowd density maps. However, the past crowd density maps are often incomplete due to the miss-detection of pedestrians, and it is crucial to develop a robust crowd density forecasting model against the miss-detection. This paper presents a MAsked crowd density Completion framework for crowd density forecasting (CrowdMAC), which is simultaneously trained to forecast future crowd density maps from partially masked past crowd density maps (i.e., forecasting maps from past maps with miss-detection) while reconstructing the masked observation maps (i.e., imputing past maps with miss-detection). Additionally, we propose Temporal-Density-aware Masking (TDM), which non-uniformly masks tokens in the observed crowd density map, considering the sparsity of the crowd density maps and the informativeness of the subsequent frames for the forecasting task. Moreover, we introduce multi-task masking to enhance training efficiency. In the experiments, CrowdMAC achieves state-of-the-art performance on seven large-scale datasets, including SDD, ETH-UCY, inD, JRDB, VSCrowd, FDST, and croHD. We also demonstrate the robustness of the proposed method against both synthetic and realistic miss-detections.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google