UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction

要約

都市の時空間予測は、交通管理、資源の最適化、都市計画などの情報に基づいた意思決定にとって重要です。
自然言語の事前トレーニングされた基礎モデルは目覚ましい進歩を遂げており、1 つの汎用モデルでさまざまなドメインにわたる複数のタスクに取り組むことができますが、都市の時空間モデリングは遅れています。
都市予測の既存のアプローチは通常、特定の時空間シナリオに合わせて調整されており、タスク固有のモデル設計と広範なドメイン内トレーニング データが必要です。
この研究では、都市の時空間予測のためのユニバーサルモデルUniSTを提案します。
UniST は、大規模な言語モデルからインスピレーションを得て、(i) 多様な時空間データ特性に対する柔軟性、(ii) 複雑な時空間関係を捉えるための精緻なマスキング戦略による効果的な生成事前トレーニング、(iii) 時空間データを通じて成功を収めています。
シナリオ全体で固有の共有知識を調整して活用する、知識に基づいたプロンプト。
これらの設計を組み合わせることで、強力な一般化機能を備えた時空間予測のためのワン・フォー・オール・モデルの可能性が解き放たれます。
15 の都市と 6 つのドメインでの大規模な実験により、特に少数ショットおよびゼロショットのシナリオにおける最先端の予測パフォーマンスの向上における UniST の普遍性が実証されました。

要約(オリジナル)

Urban spatio-temporal prediction is crucial for informed decision-making, such as transportation management, resource optimization, and urban planning. Although pretrained foundation models for natural languages have experienced remarkable breakthroughs, wherein one general-purpose model can tackle multiple tasks across various domains, urban spatio-temporal modeling lags behind. Existing approaches for urban prediction are usually tailored for specific spatio-temporal scenarios, requiring task-specific model designs and extensive in-domain training data. In this work, we propose a universal model, UniST, for urban spatio-temporal prediction. Drawing inspiration from large language models, UniST achieves success through: (i) flexibility towards diverse spatio-temporal data characteristics, (ii) effective generative pre-training with elaborated masking strategies to capture complex spatio-temporal relationships, (iii) spatio-temporal knowledge-guided prompts that align and leverage intrinsic and shared knowledge across scenarios. These designs together unlock the potential of a one-for-all model for spatio-temporal prediction with powerful generalization capability. Extensive experiments on 15 cities and 6 domains demonstrate the universality of UniST in advancing state-of-the-art prediction performance, especially in few-shot and zero-shot scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google