Continual Learning with Deep Streaming Regularized Discriminant Analysis

要約

継続学習は、より人間らしい方法で学習できるため、現実世界の機械学習アプリケーションでますます求められています。
従来の機械学習アプローチでは、これを達成できません。非同一に分散されたデータでモデルを段階的に更新すると、既存の表現が上書きされる壊滅的な忘却につながるからです。
従来の継続学習手法は主に、ラベル付きデータの大規模なコレクションから順次学習するバッチ学習に焦点を当ててきましたが、このアプローチは、新しいデータを直接統合する必要がある現実世界のアプリケーションにはあまり適していません。
これには、ストリーミング学習へのパラダイム シフトが必要です。
この論文では、この課題の解決策として、正則化判別分析のストリーミング バージョンを提案します。
私たちはアルゴリズムを畳み込みニューラル ネットワークと組み合わせ、ImageNet ILSVRC-2012 データセット上でバッチ学習アルゴリズムと既存のストリーミング学習アルゴリズムの両方を上回るパフォーマンスを示します。

要約(オリジナル)

Continual learning is increasingly sought after in real world machine learning applications, as it enables learning in a more human-like manner. Conventional machine learning approaches fail to achieve this, as incrementally updating the model with non-identically distributed data leads to catastrophic forgetting, where existing representations are overwritten. Although traditional continual learning methods have mostly focused on batch learning, which involves learning from large collections of labeled data sequentially, this approach is not well-suited for real-world applications where we would like new data to be integrated directly. This necessitates a paradigm shift towards streaming learning. In this paper, we propose a streaming version of regularized discriminant analysis as a solution to this challenge. We combine our algorithm with a convolutional neural network and demonstrate that it outperforms both batch learning and existing streaming learning algorithms on the ImageNet ILSVRC-2012 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google