Optimizing time-shifts for reservoir computing using a rank-revealing QR algorithm

要約

リザーバー コンピューティングは、出力層のみがトレーニングされる再帰型ニューラル ネットワーク パラダイムであり、非線形システムの予測や制御などのタスクで優れたパフォーマンスを示しています。
最近、貯水池によって生成された信号に時間シフトを追加すると、パフォーマンスの精度が大幅に向上することが実証されました。
この作業では、最適な時間シフトを選択する手法を紹介します。
私たちの手法は、ランクを明らかにする QR アルゴリズムを使用してリザーバー マトリックスのランクを最大化し、タスクに依存しません。
さらに、私たちの手法はシステムのモデルを必要としないため、アナログ ハードウェア リザーバー コンピューターに直接適用できます。
2 種類のリザーバー コンピューターでタイム シフト最適化手法を示します。
私たちの手法は、基本的にすべてのケースで、ランダムなタイムシフト選択よりも精度が向上することがわかりました。

要約(オリジナル)

Reservoir computing, a recurrent neural network paradigm in which only the output layer is trained, has demonstrated remarkable performance on tasks such as prediction and control of nonlinear systems. Recently, it was demonstrated that adding time-shifts to the signals generated by a reservoir can provide large improvements in performance accuracy. In this work, we present a technique to choose the optimal time shifts. Our technique maximizes the rank of the reservoir matrix using a rank-revealing QR algorithm and is not task dependent. Further, our technique does not require a model of the system, and therefore is directly applicable to analog hardware reservoir computers. We demonstrate our time-shift optimization technique on two types of reservoir computer: one based on an opto-electronic oscillator and the traditional recurrent network with a $tanh$ activation function. We find that our technique provides improved accuracy over random time-shift selection in essentially all cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google