UrbanGPT: Spatio-Temporal Large Language Models

要約

時空間予測は、時間と空間の両方にわたって絶えず変化する都市環境のダイナミクスを予測し、洞察を得ることを目的としています。
その目的は、交通機関、人口移動、犯罪率など、都市生活のさまざまな側面における将来のパターン、傾向、出来事を予測することです。
時空間データを正確に予測するためのニューラル ネットワーク技術の開発には多くの努力が払われてきましたが、これらの手法の多くは、正確な時空間表現を生成するために十分なラベル付きデータが存在することに大きく依存していることに注意することが重要です。
残念なことに、データ不足の問題は、実際の都市センシング シナリオに広く浸透しています。
したがって、多様な時空間学習シナリオにわたって強力な一般化機能を備えた時空間モデルを構築することが必要になります。
大規模言語モデル (LLM) の顕著な成果からインスピレーションを得て、私たちの目的は、下流の都市タスクの幅広い範囲にわたって優れた一般化機能を発揮できる時空間 LLM を作成することです。
この目的を達成するために、時空間依存性エンコーダーと命令チューニング パラダイムをシームレスに統合する UrbanGPT を紹介します。
この統合により、LLM は時間と空間を超えた複雑な相互依存関係を理解できるようになり、データ不足下でのより包括的で正確な予測が容易になります。
私たちのアプローチの有効性を検証するために、さまざまな時空間予測タスクをカバーするさまざまな公開データセットで広範な実験を実施します。
結果は、慎重に設計されたアーキテクチャを備えた当社の UrbanGPT が常に最先端のベースラインを上回るパフォーマンスを示していることを一貫して示しています。
これらの発見は、特にラベル付きデータが不足しているゼロショット シナリオにおいて、時空間学習のための大規模な言語モデルを構築できる可能性を強調しています。

要約(オリジナル)

Spatio-temporal prediction aims to forecast and gain insights into the ever-changing dynamics of urban environments across both time and space. Its purpose is to anticipate future patterns, trends, and events in diverse facets of urban life, including transportation, population movement, and crime rates. Although numerous efforts have been dedicated to developing neural network techniques for accurate predictions on spatio-temporal data, it is important to note that many of these methods heavily depend on having sufficient labeled data to generate precise spatio-temporal representations. Unfortunately, the issue of data scarcity is pervasive in practical urban sensing scenarios. Consequently, it becomes necessary to build a spatio-temporal model with strong generalization capabilities across diverse spatio-temporal learning scenarios. Taking inspiration from the remarkable achievements of large language models (LLMs), our objective is to create a spatio-temporal LLM that can exhibit exceptional generalization capabilities across a wide range of downstream urban tasks. To achieve this objective, we present the UrbanGPT, which seamlessly integrates a spatio-temporal dependency encoder with the instruction-tuning paradigm. This integration enables LLMs to comprehend the complex inter-dependencies across time and space, facilitating more comprehensive and accurate predictions under data scarcity. To validate the effectiveness of our approach, we conduct extensive experiments on various public datasets, covering different spatio-temporal prediction tasks. The results consistently demonstrate that our UrbanGPT, with its carefully designed architecture, consistently outperforms state-of-the-art baselines. These findings highlight the potential of building large language models for spatio-temporal learning, particularly in zero-shot scenarios where labeled data is scarce.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google