Joint Neural Architecture and Hyperparameter Search for Correlated Time Series Forecasting

要約

サイバー フィジカル システムのセンサーは、多くの場合、相互接続されたプロセスをキャプチャし、相関時系列 (CTS) を生成します。この相関時系列 (CTS) の予測により、重要なアプリケーションが可能になります。
CTS 予測を成功させる鍵は、時系列の時間的ダイナミクスと時系列間の空間相関を明らかにすることです。
ディープ ラーニング ベースのソリューションは、これらの側面の識別において優れたパフォーマンスを発揮します。
特に、最適なディープラーニング アーキテクチャの設計が自動化された自動 CTS 予測では、手動によるアプローチを超える予測精度を実現できます。
ただし、自動化された CTS ソリューションはまだ初期段階にあり、定義済みのハイパーパラメーターに最適なアーキテクチャしか見つけられず、大規模な CTS へのスケーリングは不十分です。
これらの制限を克服するために、効果的な CTS 予測モデルを自動的に考案するための共同のスケーラブルなフレームワークである SEARCH を提案します。
具体的には、各候補アーキテクチャと付随するハイパーパラメータを結合グラフ表現にエンコードします。
効率的な Architecture-Hyperparameter Comparator (AHC) を導入してすべてのアーキテクチャとハイパーパラメータのペアをランク付けし、上位ランクのペアをさらに評価して最終結果を選択します。
6 つのベンチマーク データセットでの広範な実験により、SEARCH は手作業を排除するだけでなく、手動で設計された既存の自動設計された CTS モデルよりも優れたパフォーマンスを発揮できることが示されています。
また、大規模な CTS への優れたスケーラビリティを示します。

要約(オリジナル)

Sensors in cyber-physical systems often capture interconnected processes and thus emit correlated time series (CTS), the forecasting of which enables important applications. The key to successful CTS forecasting is to uncover the temporal dynamics of time series and the spatial correlations among time series. Deep learning-based solutions exhibit impressive performance at discerning these aspects. In particular, automated CTS forecasting, where the design of an optimal deep learning architecture is automated, enables forecasting accuracy that surpasses what has been achieved by manual approaches. However, automated CTS solutions remain in their infancy and are only able to find optimal architectures for predefined hyperparameters and scale poorly to large-scale CTS. To overcome these limitations, we propose SEARCH, a joint, scalable framework, to automatically devise effective CTS forecasting models. Specifically, we encode each candidate architecture and accompanying hyperparameters into a joint graph representation. We introduce an efficient Architecture-Hyperparameter Comparator (AHC) to rank all architecture-hyperparameter pairs, and we then further evaluate the top-ranked pairs to select a final result. Extensive experiments on six benchmark datasets demonstrate that SEARCH not only eliminates manual efforts but also is capable of better performance than manually designed and existing automatically designed CTS models. In addition, it shows excellent scalability to large CTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google