How Can Large Language Models Understand Spatial-Temporal Data?

要約

大規模言語モデル (LLM) は自然言語処理やコンピューター ビジョンなどのタスクを支配していますが、その能力を時空間予測に活用することは依然として困難です。
連続したテキストと複雑な時空間データの間の差異が、このアプリケーションの妨げとなります。
この問題に対処するために、このホワイトペーパーでは、時空間予測のために LLM を強化する革新的なアプローチである STG-LLM を紹介します。
私たちは次のことを提案することでデータの不一致に取り組みます。 1) STG-Tokenizer: この時空間グラフ トークナイザーは、複雑なグラフ データを、空間的関係と時間的関係の両方をキャプチャする簡潔なトークンに変換します。
2) STG アダプター: この最小限のアダプターは、線形エンコード層とデコード層で構成され、トークン化されたデータと LLM 理解の間のギャップを埋めます。
少数のパラメータセットのみを微調整することで、LLM の元の自然言語理解機能を維持しながら、STG-Tokenizer によって生成されたトークンのセマンティクスを効果的に把握できます。
多様な時空間ベンチマーク データセットに対する広範な実験により、STG-LLM が時空間予測における LLM の可能性を引き出すことに成功したことが示されています。
驚くべきことに、私たちのアプローチは専用の SOTA メソッドと同等の競争力のあるパフォーマンスを達成します。

要約(オリジナル)

While Large Language Models (LLMs) dominate tasks like natural language processing and computer vision, harnessing their power for spatial-temporal forecasting remains challenging. The disparity between sequential text and complex spatial-temporal data hinders this application. To address this issue, this paper introduces STG-LLM, an innovative approach empowering LLMs for spatial-temporal forecasting. We tackle the data mismatch by proposing: 1) STG-Tokenizer: This spatial-temporal graph tokenizer transforms intricate graph data into concise tokens capturing both spatial and temporal relationships; 2) STG-Adapter: This minimalistic adapter, consisting of linear encoding and decoding layers, bridges the gap between tokenized data and LLM comprehension. By fine-tuning only a small set of parameters, it can effectively grasp the semantics of tokens generated by STG-Tokenizer, while preserving the original natural language understanding capabilities of LLMs. Extensive experiments on diverse spatial-temporal benchmark datasets show that STG-LLM successfully unlocks LLM potential for spatial-temporal forecasting. Remarkably, our approach achieves competitive performance on par with dedicated SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google