Investigation of Proper Orthogonal Decomposition for Echo State Networks

要約

Echo State Networks (ESN) はリカレント ニューラル ネットワークの一種であり、時系列および非線形動的システムの表現において有望な結果をもたらします。
ESN などのリザーバー コンピューティング戦略には非常に効率的なトレーニング手順が備わっていますが、高次のネットワーク、つまり多くのニューロンが必要であり、その結果、モデルの入出力の数よりもはるかに多くの状態が生成されます。
。
状態の数が多いと、タイムステップ計算のコストが高くなるだけでなく、特にモデル予測制御 (MPC) やその他の最適制御の問題などに ESN を適用する場合に、堅牢性の問題が生じる可能性があります。
この複雑さの問題を回避する 1 つの方法は、適切な直交分解 (POD) やその変形 (POD-DEIM) などのモデル次数削減戦略を使用することです。これにより、すでにトレーニングされた高次元 ESN と同等の低次表現が見つかります。
この目的を達成するために、この研究は、Echo State Networks における POD 手法のパフォーマンスを調査および分析し、元の (フルオーダー) ESN と比較した POD 削減ネットワークのメモリ容量 (MC) を通じてその有効性を評価することを目的としています。
また、NARMA10 差分方程式と、2 つの井戸と 1 つのライザーを含む石油プラットフォームという 2 つの数値ケーススタディに関する実験も実行します。
結果は、元の ESN と POD 削減された ESN を比較した場合、パフォーマンスの損失がほとんどなく、POD 削減された ESN のパフォーマンスが同じサイズの通常の ESN よりも優れている傾向があることを示しています。
また、POD を削減したネットワークは、元の ESN と比較して約 $80\%$ の高速化を実現します。

要約(オリジナル)

Echo State Networks (ESN) are a type of Recurrent Neural Network that yields promising results in representing time series and nonlinear dynamic systems. Although they are equipped with a very efficient training procedure, Reservoir Computing strategies, such as the ESN, require high-order networks, i.e., many neurons, resulting in a large number of states that are magnitudes higher than the number of model inputs and outputs. A large number of states not only makes the time-step computation more costly but also may pose robustness issues, especially when applying ESNs to problems such as Model Predictive Control (MPC) and other optimal control problems. One way to circumvent this complexity issue is through Model Order Reduction strategies such as the Proper Orthogonal Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent lower order representation to an already trained high dimension ESN. To this end, this work aims to investigate and analyze the performance of POD methods in Echo State Networks, evaluating their effectiveness through the Memory Capacity (MC) of the POD-reduced network compared to the original (full-order) ESN. We also perform experiments on two numerical case studies: a NARMA10 difference equation and an oil platform containing two wells and one riser. The results show that there is little loss of performance comparing the original ESN to a POD-reduced counterpart and that the performance of a POD-reduced ESN tends to be superior to a normal ESN of the same size. Also, the POD-reduced network achieves speedups of around $80\%$ compared to the original ESN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google