MODL: Multilearner Online Deep Learning

要約

オンライン ディープ ラーニングは、データ ストリームからの学習の問題を解決し、高速に学習することと深く学習するという 2 つの相反する目的を調和させます。
既存の研究は、オンライン学習の方程式の「高速」部分よりも「ディープ」部分を処理するのにはるかに適した、純粋な深層学習ソリューションの探索にほぼ専ら焦点を当てています。
私たちの研究では、ハイブリッド複数学習者アプローチに基づいた、別のパラダイムを提案します。
まず、高速オンライン ロジスティック回帰学習器を開発します。
この学習者はバックプロパゲーションに依存しません。
代わりに、モデル パラメーターの閉じた形式の再帰的更新を使用して、オンライン学習問題の高速学習部分を処理します。
次に、既存のオンライン深層学習理論を分析し、現在層 $L$ の複雑さ $O(L^2)$ で動作している広く普及している ODL アプローチが、$O(L) で同等に実装できることを示します。
$ 複雑さ。
これはさらに、複数の浅い学習者と深い学習者が共同トレーニングされて、協力的かつ相乗的な方法でオンライン学習の問題を解決する、カスケード型マルチ学習者の設計につながります。
このアプローチは、一般的なオンライン学習データセットで最先端の結果を達成すると同時に、欠落している特徴を適切に処理できることを示します。
私たちのコードは https://github.com/AntonValk/MODL で公開されています。

要約(オリジナル)

Online deep learning solves the problem of learning from streams of data, reconciling two opposing objectives: learn fast and learn deep. Existing work focuses almost exclusively on exploring pure deep learning solutions, which are much better suited to handle the ‘deep’ than the ‘fast’ part of the online learning equation. In our work, we propose a different paradigm, based on a hybrid multilearner approach. First, we develop a fast online logistic regression learner. This learner does not rely on backpropagation. Instead, it uses closed form recursive updates of model parameters, handling the fast learning part of the online learning problem. We then analyze the existing online deep learning theory and show that the widespread ODL approach, currently operating at complexity $O(L^2)$ in terms of the number of layers $L$, can be equivalently implemented in $O(L)$ complexity. This further leads us to the cascaded multilearner design, in which multiple shallow and deep learners are co-trained to solve the online learning problem in a cooperative, synergistic fashion. We show that this approach achieves state-of-the-art results on common online learning datasets, while also being able to handle missing features gracefully. Our code is publicly available at https://github.com/AntonValk/MODL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google