Incremental Online Learning of Randomized Neural Network with Forward Regularization

要約

ディープ ニューラル ネットワークのオンライン学習は、ヒステリシスを伴う非増分更新、メモリ使用量の増加、過去の遡及的な再トレーニング、壊滅的な忘却などの課題に悩まされています。
これらの欠点を軽減し、進歩的な即時意思決定を実現するために、ランダム化ニューラル ネットワーク (ランダム化 NN) の新しい増分オンライン学習 (IOL) プロセスを提案します。これは、制限のあるオンライン シナリオにおけるランダム化 NN のパフォーマンスの継続的な改善を促進するフレームワークです。
このフレームワーク内で、リッジ正則化 (-R) を備えた IOL と前方正則化 (-F) を備えた IOL をさらに導入します。
-R は、遡及的な再トレーニングを行わずに段階的な増分更新を生成し、致命的な忘れを回避します。
さらに、半監視を使用して予知学習能力を強化し、IOL中に-Rと比較してオフラインのグローバル専門家に対するオンラインでの後悔の改善を実現したため、-Rを-Fに置き換えました。
非定常バッチストリーム上で-R/-Fを備えたランダム化NN用のIOLのアルゴリズムをそれぞれ導出し,再帰的重み更新と可変学習率を特徴とした。
さらに、詳細な分析を実施し、新しい方法論を使用して敵対的仮定の下で IOL に -R/-F をもつランダム化 NN 学習者の相対累積後悔限界を理論的に導き出し、いくつかの帰結を提示しました。そこから、オンライン学習の高速化と
IOL に -F を採用したことを後悔しています。
最後に、私たちが提案した方法は、さまざまなデータセットに対する回帰タスクと分類タスクにわたって厳密に検査され、ランダム化された NN の IOL フレームワークの有効性と順正則化の利点が明確に検証されました。

要約(オリジナル)

Online learning of deep neural networks suffers from challenges such as hysteretic non-incremental updating, increasing memory usage, past retrospective retraining, and catastrophic forgetting. To alleviate these drawbacks and achieve progressive immediate decision-making, we propose a novel Incremental Online Learning (IOL) process of Randomized Neural Networks (Randomized NN), a framework facilitating continuous improvements to Randomized NN performance in restrictive online scenarios. Within the framework, we further introduce IOL with ridge regularization (-R) and IOL with forward regularization (-F). -R generates stepwise incremental updates without retrospective retraining and avoids catastrophic forgetting. Moreover, we substituted -R with -F as it enhanced precognition learning ability using semi-supervision and realized better online regrets to offline global experts compared to -R during IOL. The algorithms of IOL for Randomized NN with -R/-F on non-stationary batch stream were derived respectively, featuring recursive weight updates and variable learning rates. Additionally, we conducted a detailed analysis and theoretically derived relative cumulative regret bounds of the Randomized NN learners with -R/-F in IOL under adversarial assumptions using a novel methodology and presented several corollaries, from which we observed the superiority on online learning acceleration and regret bounds of employing -F in IOL. Finally, our proposed methods were rigorously examined across regression and classification tasks on diverse datasets, which distinctly validated the efficacy of IOL frameworks of Randomized NN and the advantages of forward regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google