Adaptive Human Trajectory Prediction via Latent Corridors

要約

人間の軌跡の予測は通常、ゼロショット一般化問題として提起されます。予測子はトレーニング シーンでの人間の動きのデータセットで学習され、その後、目に見えないテスト シーンに展開されます。
このパラダイムは多大な進歩をもたらしましたが、基本的には、展開シーンにおける人間の行動の傾向が時間の経過とともに一定であることを前提としています。
そのため、現在の予測モデルは、大道芸人を見るために一時的に集まる群衆、雨の中を急いで水たまりを避ける歩行者、抗議活動の勃発など、シーン固有の一時的な人間の行動に適応することができません。
我々は、シーン固有の適応軌道予測の問題を形式化し、潜在コリドーと呼ばれるプロンプトチューニングに触発された新しい適応アプローチを提案します。
事前にトレーニングされた人間の軌跡予測子の入力を学習可能な画像プロンプトで強化することにより、予測子は、非常に少量の新しいデータ (例: 2 人の人間を 30 秒間観察した) から傾向を推測することで展開シーンでの改善を図ることができます。
追加のモデル パラメーターが 0.1% 未満であるため、MOTSynth シミュレーション データでは ADE が最大 23.9% 向上し、MOT および Wildtrack の実際の歩行者データでは ADE が 16.4% 向上しました。
定性的には、潜在コリドーが、非適応予測子がキャプチャするのに苦労するシーンの幾何学やシーン固有の人間の行動に対する認識を予測子に吹き込むことが観察されます。
プロジェクトの Web サイトは https://neerja.me/atp_latent_corridors/ にあります。

要約(オリジナル)

Human trajectory prediction is typically posed as a zero-shot generalization problem: a predictor is learnt on a dataset of human motion in training scenes, and then deployed on unseen test scenes. While this paradigm has yielded tremendous progress, it fundamentally assumes that trends in human behavior within the deployment scene are constant over time. As such, current prediction models are unable to adapt to scene-specific transient human behaviors, such as crowds temporarily gathering to see buskers, pedestrians hurrying through the rain and avoiding puddles, or a protest breaking out. We formalize the problem of scene-specific adaptive trajectory prediction and propose a new adaptation approach inspired by prompt tuning called latent corridors. By augmenting the input of any pre-trained human trajectory predictor with learnable image prompts, the predictor can improve in the deployment scene by inferring trends from extremely small amounts of new data (e.g., 2 humans observed for 30 seconds). With less than 0.1% additional model parameters, we see up to 23.9% ADE improvement in MOTSynth simulated data and 16.4% ADE in MOT and Wildtrack real pedestrian data. Qualitatively, we observe that latent corridors imbue predictors with an awareness of scene geometry and scene-specific human behaviors that non-adaptive predictors struggle to capture. The project website can be found at https://neerja.me/atp_latent_corridors/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google