Sparse neural networks with skip-connections for identification of aluminum electrolysis cell

要約

タイトル：アルミニウム電解セルの同定のためのスキップ接続を備えた疎なニューラルネットワーク

要約：
– ニューラルネットワークは、データから複雑な入出力関係を直接キャプチャするモデルの柔軟性により、非線形システム同定において急速に注目されている。
– しかし、この文脈でこれらのモデルの安全性や、潜在的に高価なデータの大量に必要なことへの懸念がある。
– アルミニウム電解は、高度に非線形な生産プロセスであり、データのほとんどは手動でサンプリングする必要があり、サンプリングプロセスは高価で頻繁ではない。
– 状態変数の頻繁な測定がない場合、長期の予測の精度やオープンループ安定性が非常に重要になる。
– 標準のニューラルネットワークは、限られたトレーニングデータで安定した長期の予測を提供することができない。
– 本研究では、連結されたスキップ接続と疎な$\ell_1$正則化を組み合わせた効果について調査する。
– ケーススタディは、アルミニウム電解セルの質量とエネルギーバランスを表す高次元かつ非線形なシミュレータで行われる。
– 提案されたモデル構造には、入力層からすべての中間層までの連結されたスキップ接続が含まれ、InputSkipと呼ばれる。
– $\ell_1$正則化されたInputSkipは、疎なInputSkipと呼ばれる。
– 結果は、疎なInputSkipが、オープンループ安定性と長期的な予測精度に関して、密な・疎な標準的な前向きニューラルネットワークや、密なInputSkipを凌駕することを示している。
– モデルがすべてのサイズのデータセット（小、中、大のトレーニングセット）およびすべての予測ホライズン（短期、中期、長期の予測ホライズン）でトレーニングされた場合、結果は有意である。

要約(オリジナル)

Neural networks are rapidly gaining interest in nonlinear system identification due to the model’s ability to capture complex input-output relations directly from data. However, despite the flexibility of the approach, there are still concerns about the safety of these models in this context, as well as the need for large amounts of potentially expensive data. Aluminum electrolysis is a highly nonlinear production process, and most of the data must be sampled manually, making the sampling process expensive and infrequent. In the case of infrequent measurements of state variables, the accuracy and open-loop stability of the long-term predictions become highly important. Standard neural networks struggle to provide stable long-term predictions with limited training data. In this work, we investigate the effect of combining concatenated skip-connections and the sparsity-promoting $\ell_1$ regularization on the open-loop stability and accuracy of forecasts with short, medium, and long prediction horizons. The case study is conducted on a high-dimensional and nonlinear simulator representing an aluminum electrolysis cell’s mass and energy balance. The proposed model structure contains concatenated skip connections from the input layer and all intermittent layers to the output layer, referred to as InputSkip. $\ell_1$ regularized InputSkip is called sparse InputSkip. The results show that sparse InputSkip outperforms dense and sparse standard feedforward neural networks and dense InputSkip regarding open-loop stability and long-term predictive accuracy. The results are significant when models are trained on datasets of all sizes (small, medium, and large training sets) and for all prediction horizons (short, medium, and long prediction horizons.)

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI