FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet Level

要約

ディープニューラルネットワークの学習アルゴリズムは、通常、エラーバックプロパゲーション（backprop）を使用した教師ありエンドツーエンド確率的勾配降下（SGD）トレーニングに基づいています。
バックプロパゲーションアルゴリズムでは、高いパフォーマンスを実現するために、多数のラベル付きトレーニングサンプルが必要です。
ただし、多くの現実的なアプリケーションでは、画像サンプルがたくさんある場合でも、ラベルが付けられているものはごくわずかであり、半教師ありサンプル効率の高いトレーニング戦略を使用する必要があります。
ヘッブの学習は、サンプルの効率的なトレーニングに向けた可能なアプローチを表しています。
ただし、現在のソリューションでは、大規模なデータセットにうまく対応できません。
このホワイトペーパーでは、1）入力のバッチで更新の計算と集計をマージし、2）GPUで効率的な行列乗算アルゴリズムを活用することで、より高い効率を実現する、ヘビアン学習のための効率的でスケーラブルなソリューションであるFastHebbを紹介します。
半教師あり学習シナリオで、さまざまなコンピュータービジョンベンチマークでアプローチを検証します。
FastHebbは、トレーニング速度の点で以前のソリューションを最大50倍上回っています。特に、初めて、HebbianアルゴリズムをImageNetスケールに導入できるようになりました。

要約(オリジナル)

Learning algorithms for Deep Neural Networks are typically based on supervised end-to-end Stochastic Gradient Descent (SGD) training with error backpropagation (backprop). Backprop algorithms require a large number of labelled training samples to achieve high performance. However, in many realistic applications, even if there is plenty of image samples, very few of them are labelled, and semi-supervised sample-efficient training strategies have to be used. Hebbian learning represents a possible approach towards sample efficient training; however, in current solutions, it does not scale well to large datasets. In this paper, we present FastHebb, an efficient and scalable solution for Hebbian learning which achieves higher efficiency by 1) merging together update computation and aggregation over a batch of inputs, and 2) leveraging efficient matrix multiplication algorithms on GPU. We validate our approach on different computer vision benchmarks, in a semi-supervised learning scenario. FastHebb outperforms previous solutions by up to 50 times in terms of training speed, and notably, for the first time, we are able to bring Hebbian algorithms to ImageNet scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google