Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning

要約

放射基底関数ニューラル ネットワーク (RBFNN) ベースのリアルタイム学習タスクでは、ニューラル ネットワークが新しいデータに対する感度を維持できるように、忘却メカニズムが広く使用されています。
しかし、忘却のメカニズムでは、ずっと前に学んだというだけの理由で一部の有用な知識が失われてしまいます。これを受動的な知識の忘却現象と呼びます。
この問題に対処するために、この論文では、古典的な忘却メカニズムを記憶メカニズムに再構築する、選択記憶再帰最小二乗法 (SMRLS) と呼ばれるリアルタイム トレーニング方法を提案します。
主にサンプルの収集時刻に応じてサンプルの重要性を評価する忘却メカニズムとは異なり、記憶メカニズムはサンプルの時間的および空間的分布を通じてサンプルの重要性を評価します。
SMRLS では、RBFNN の入力空間が有限数のパーティションに均等に分割され、各パーティションからの合成サンプルを使用して合成目的関数が作成されます。
現在の近似誤差に加えて、ニューラル ネットワークは、訪問中のパーティションから記録されたデータに従って重みも更新します。
忘却因子再帰最小二乗法 (FFRLS) や確率的勾配降下法 (SGD) 法などの古典的なトレーニング法と比較して、SMRLS は学習速度と汎化能力の向上を達成しており、これは対応するシミュレーション結果で実証されています。

要約(オリジナル)

In radial basis function neural network (RBFNN) based real-time learning tasks, forgetting mechanisms are widely used such that the neural network can keep its sensitivity to new data. However, with forgetting mechanisms, some useful knowledge will get lost simply because they are learned a long time ago, which we refer to as the passive knowledge forgetting phenomenon. To address this problem, this paper proposes a real-time training method named selective memory recursive least squares (SMRLS) in which the classical forgetting mechanisms are recast into a memory mechanism. Different from the forgetting mechanism, which mainly evaluates the importance of samples according to the time when samples are collected, the memory mechanism evaluates the importance of samples through both temporal and spatial distribution of samples. With SMRLS, the input space of the RBFNN is evenly divided into a finite number of partitions and a synthesized objective function is developed using synthesized samples from each partition. In addition to the current approximation error, the neural network also updates its weights according to the recorded data from the partition being visited. Compared with classical training methods including the forgetting factor recursive least squares (FFRLS) and stochastic gradient descent (SGD) methods, SMRLS achieves improved learning speed and generalization capability, which are demonstrated by corresponding simulation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google