GeoTransformer: Enhancing Urban Forecasting with Geospatial Attention Mechanisms

要約

最近の進歩は、都市の空間情報を高次元空間にエンコードすることに焦点を当てており、社会人口統計データと衛星画像の統合に注力した注目すべき取り組みが行われています。
これらの取り組みにより、この分野の基礎モデルが確立されました。
ただし、これらの空間表現を都市予測アプリケーションに効果的に利用する方法は、まだ研究が進んでいません。
このギャップに対処するために、Transformer アーキテクチャと事前の地理空間統計を相乗させる新しい構造である GeoTransformer を導入します。
GeoTransformer は、革新的な地理空間注目メカニズムを採用して、広範な都市情報と空間依存性を統合予測モデルに組み込みます。
具体的には、ターゲット地域と周辺地域の間の地理空間加重注意スコアを計算し、統合された都市情報を予測に活用します。
GDP およびライドシェアの需要予測タスクに関する広範な実験により、GeoTransformer が既存のベースライン モデルを大幅に上回るパフォーマンスを示し、都市予測タスクを強化する可能性が示されました。

要約(オリジナル)

Recent advancements have focused on encoding urban spatial information into high-dimensional spaces, with notable efforts dedicated to integrating sociodemographic data and satellite imagery. These efforts have established foundational models in this field. However, the effective utilization of these spatial representations for urban forecasting applications remains under-explored. To address this gap, we introduce GeoTransformer, a novel structure that synergizes the Transformer architecture with geospatial statistics prior. GeoTransformer employs an innovative geospatial attention mechanism to incorporate extensive urban information and spatial dependencies into a unified predictive model. Specifically, we compute geospatial weighted attention scores between the target region and surrounding regions and leverage the integrated urban information for predictions. Extensive experiments on GDP and ride-share demand prediction tasks demonstrate that GeoTransformer significantly outperforms existing baseline models, showcasing its potential to enhance urban forecasting tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google