Regions are Who Walk Them: a Large Pre-trained Spatiotemporal Model Based on Human Mobility for Ubiquitous Urban Sensing

要約

ユーザー プロファイリングと地域分析は、大きな商業的価値を持つ 2 つのタスクです。
ただし、実際のアプリケーションでは、さまざまな機能のモデリングには通常、データの準備、データ処理、モデルの確立、評価、最適化という 4 つの主要な手順が含まれます。
このプロセスには時間と労力がかかります。
機能ごとにこのワークフローを繰り返すと、タスクの開発時間が十分に確保され、タスク開発の全体量が削減されます。
実際、人間の移動データには豊富な情報が含まれています。
いくつかの成功事例は、人口移動データの詳細な分析を実施することで、ユーザーと地域に関する有意義なプロファイルが得られる可能性があることを示唆しています。
それにもかかわらず、関連する研究のほとんどは、人間の移動データ内のセマンティック情報を完全には活用しておらず、固定数の領域でトレーニングされていました。
人口移動の豊富な情報を活用するために、地域は地域を歩むものであるという観点に基づいて、軌跡（RAW）に基づく大規模な時空間モデルを提案します。
これは次の特徴を備えています。 1) 軌道データ用に調整され、最大 1B のパラメータ数を持つ GPT のような構造が導入されています。
2) 時空間微調整モジュールを導入し、軌跡をユーザーの集合として解釈して、任意の領域埋め込みを導き出します。
このフレームワークにより、大規模な時空間モデルに基づいた迅速なタスク開発が可能になります。
私たちは、提案した大規模時空間モデルの有効性を検証するために広範な実験を実施しました。
追加の特徴を持たずに人間の移動データのみに依存する私たちの提案方法が、ユーザープロファイリングと地域分析において一定レベルの関連性を示すことは明らかです。
さらに、私たちのモデルは、現在の状態に基づいた軌道生成タスクにおける有望な予測機能を示しており、この大規模な時空間モデルを利用したさらなる革新的な作業の可能性を提供します。

要約(オリジナル)

User profiling and region analysis are two tasks of significant commercial value. However, in practical applications, modeling different features typically involves four main steps: data preparation, data processing, model establishment, evaluation, and optimization. This process is time-consuming and labor-intensive. Repeating this workflow for each feature results in abundant development time for tasks and a reduced overall volume of task development. Indeed, human mobility data contains a wealth of information. Several successful cases suggest that conducting in-depth analysis of population movement data could potentially yield meaningful profiles about users and areas. Nonetheless, most related works have not thoroughly utilized the semantic information within human mobility data and trained on a fixed number of the regions. To tap into the rich information within population movement, based on the perspective that Regions Are Who walk them, we propose a large spatiotemporal model based on trajectories (RAW). It possesses the following characteristics: 1) Tailored for trajectory data, introducing a GPT-like structure with a parameter count of up to 1B; 2) Introducing a spatiotemporal fine-tuning module, interpreting trajectories as collection of users to derive arbitrary region embedding. This framework allows rapid task development based on the large spatiotemporal model. We conducted extensive experiments to validate the effectiveness of our proposed large spatiotemporal model. It’s evident that our proposed method, relying solely on human mobility data without additional features, exhibits a certain level of relevance in user profiling and region analysis. Moreover, our model showcases promising predictive capabilities in trajectory generation tasks based on the current state, offering the potential for further innovative work utilizing this large spatiotemporal model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google