AutoSTF: Decoupled Neural Architecture Search for Cost-Effective Automated Spatio-Temporal Forecasting

要約

時空間予測は、交通の最適化、エネルギー管理、社会経済分析など、さまざまなスマート シティ アプリケーションの重要なコンポーネントです。
最近、複雑な時空間依存関係を捉えるために最適なニューラル ネットワーク アーキテクチャを自動的に検索するための、いくつかの自動時空間予測方法が提案されています。
しかし、既存の自動化されたアプローチは、高価なニューラル アーキテクチャ検索のオーバーヘッドに悩まされており、それが実際の使用や、より細かい粒度での多様な時空間演算子のさらなる探索を妨げています。
この論文では、コスト効率の高い自動時空間予測のための分離された自動ニューラル アーキテクチャ検索フレームワークである AutoSTF を提案します。
効率の観点から、まず混合検索空間を時間空間と空間空間に分離し、それぞれ表現圧縮とパラメータ共有スキームを考案してパラメータの急増を緩和します。
時空間の分離された検索により、モデルの最適化プロセスが迅速化されるだけでなく、より効果的な時空間依存関係モデリングのための新たな余地も残されます。
有効性の観点から、マルチ粒度の時間依存関係を共同でキャプチャし、空間検索空間を拡張して、よりきめの細かい層ごとの空間依存関係検索を可能にするマルチパッチ転送モジュールを提案します。
8 つのデータセットに対する広範な実験により、精度と効率の両方の点で AutoSTF の優位性が実証されました。
具体的には、私たちの提案手法は、最高の予測精度を維持しながら、最先端の自動時空間予測手法と比較して最大 13.48 倍の高速化を実現します。

要約(オリジナル)

Spatio-temporal forecasting is a critical component of various smart city applications, such as transportation optimization, energy management, and socio-economic analysis. Recently, several automated spatio-temporal forecasting methods have been proposed to automatically search the optimal neural network architecture for capturing complex spatio-temporal dependencies. However, the existing automated approaches suffer from expensive neural architecture search overhead, which hinders their practical use and the further exploration of diverse spatio-temporal operators in a finer granularity. In this paper, we propose AutoSTF, a decoupled automatic neural architecture search framework for cost-effective automated spatio-temporal forecasting. From the efficiency perspective, we first decouple the mixed search space into temporal space and spatial space and respectively devise representation compression and parameter-sharing schemes to mitigate the parameter explosion. The decoupled spatio-temporal search not only expedites the model optimization process but also leaves new room for more effective spatio-temporal dependency modeling. From the effectiveness perspective, we propose a multi-patch transfer module to jointly capture multi-granularity temporal dependencies and extend the spatial search space to enable finer-grained layer-wise spatial dependency search. Extensive experiments on eight datasets demonstrate the superiority of AutoSTF in terms of both accuracy and efficiency. Specifically, our proposed method achieves up to 13.48x speed-up compared to state-of-the-art automatic spatio-temporal forecasting methods while maintaining the best forecasting accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google