Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation

要約

時空間モデリングはスマート シティ アプリケーションの基礎ですが、多くの都市や地域ではデータ不足によって妨げられることがよくあります。
このギャップを埋めるために、都市の知識伝達を伴う時空間的な少数ショット学習のための新しい生成的事前トレーニング フレームワーク GPD を提案します。
共通の特徴抽出や複雑な少数ショット学習設計に大きく依存する従来のアプローチとは異なり、私たちのソリューションは、ソース都市からのデータで最適化されたニューラル ネットワーク パラメーターのコレクションに対して生成的な事前トレーニングを実行するという新しいアプローチを採用しています。
私たちは、時空間的な少数ショット学習を生成拡散モデルの事前トレーニングとして再構築します。生成拡散モデルは、プロンプトに基づいてカスタマイズされたニューラル ネットワークを生成し、多様なデータ分布や都市固有の特性への適応を可能にします。
GPD は、モデルに依存せず、強力な時空間ニューラル ネットワークと統合する、Transformer ベースのノイズ除去拡散モデルを採用しています。
データのギャップや都市全体にわたる知識の一般化の複雑さから生じる課題に対処することで、私たちのフレームワークは、交通速度の予測や群衆の流れの予測などのタスクにおいて、複数の実世界のデータセットに基づく最先端のベースラインを常に上回っています。
私たちのアプローチの実装は、https://github.com/tsinghua-fib-lab/GPD から入手できます。

要約(オリジナル)

Spatio-temporal modeling is foundational for smart city applications, yet it is often hindered by data scarcity in many cities and regions. To bridge this gap, we propose a novel generative pre-training framework, GPD, for spatio-temporal few-shot learning with urban knowledge transfer. Unlike conventional approaches that heavily rely on common feature extraction or intricate few-shot learning designs, our solution takes a novel approach by performing generative pre-training on a collection of neural network parameters optimized with data from source cities. We recast spatio-temporal few-shot learning as pre-training a generative diffusion model, which generates tailored neural networks guided by prompts, allowing for adaptability to diverse data distributions and city-specific characteristics. GPD employs a Transformer-based denoising diffusion model, which is model-agnostic to integrate with powerful spatio-temporal neural networks. By addressing challenges arising from data gaps and the complexity of generalizing knowledge across cities, our framework consistently outperforms state-of-the-art baselines on multiple real-world datasets for tasks such as traffic speed prediction and crowd flow prediction. The implementation of our approach is available: https://github.com/tsinghua-fib-lab/GPD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google