InCrowdFormer: On-Ground Pedestrian World Model From Egocentric Views

要約

地上の歩行者の世界モデルを導入します。これは、歩行者が地上の群衆の中のオブザーバーの周りをどのように移動するかを予測できる計算モデルですが、オブザーバーの自己中心的なビューのみからです。
私たちのモデルである InCrowdFormer は、歩行者の相互作用と注意を払って自己中心的からトップダウン ビューへの変換をモデル化することにより、Transformer アーキテクチャを完全に活用し、エンコーダー/デコーダー アーキテクチャを使用して可変数の人々の地上での位置を自己回帰的に予測します。
未知の歩行者の高さから生じる不確実性を潜在コードでエンコードして、歩行者の位置の事後分布を予測します。
実際の動きの新しい予測ベンチマークで InCrowdFormer の有効性を検証します。
結果は、InCrowdFormer が歩行者の将来の調整を正確に予測することを示しています。
私たちの知る限りでは、InCrowdFormer はこの種のものとしては初めての歩行者の世界モデルであり、群衆のナビゲーション、追跡、合成など、さまざまな自己中心的なビューのアプリケーションに役立つと信じています。

要約(オリジナル)

We introduce an on-ground Pedestrian World Model, a computational model that can predict how pedestrians move around an observer in the crowd on the ground plane, but from just the egocentric-views of the observer. Our model, InCrowdFormer, fully leverages the Transformer architecture by modeling pedestrian interaction and egocentric to top-down view transformation with attention, and autoregressively predicts on-ground positions of a variable number of people with an encoder-decoder architecture. We encode the uncertainties arising from unknown pedestrian heights with latent codes to predict the posterior distributions of pedestrian positions. We validate the effectiveness of InCrowdFormer on a novel prediction benchmark of real movements. The results show that InCrowdFormer accurately predicts the future coordination of pedestrians. To the best of our knowledge, InCrowdFormer is the first-of-its-kind pedestrian world model which we believe will benefit a wide range of egocentric-view applications including crowd navigation, tracking, and synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google