Going Forward-Forward in Distributed Deep Learning

要約

ジェフリー・ヒントンのフォワードフォワード (FF) アルゴリズムを利用して、分散コンピューティング環境におけるニューラル ネットワークのトレーニングを高速化する、分散ディープラーニングの新しいアプローチを紹介します。
順方向パスと逆方向パスに依存する従来の方法とは異なり、FF アルゴリズムはデュアル順方向パス戦略を採用しており、従来のバックプロパゲーション プロセスとは大幅に異なります。
この新しい方法は人間の脳の処理メカニズムとより密接に連携しており、ニューラル ネットワーク トレーニングに対するより効率的で生物学的に妥当なアプローチを提供する可能性があります。
私たちの研究では、分散設定における FF アルゴリズムのさまざまな実装を調査し、その並列化能力を調査しています。
元の FF アルゴリズムはバックプロパゲーション アルゴリズムのパフォーマンスに匹敵する能力に焦点を当てていましたが、並列処理はトレーニング時間とリソース消費を削減することを目的としており、それによってディープ ニューラル ネットワークのトレーニングに伴う長いトレーニング時間に対処します。
私たちの評価では、4 つの計算ノードを備えた 4 層ネットワークをトレーニングする際に、精度を損なうことなく MNIST データセットで 3.75 倍の速度向上が見られました。
分散ディープラーニングへの FF アルゴリズムの統合は、この分野における重要な前進を意味し、分散環境でニューラル ネットワークをトレーニングする方法に革命を起こす可能性があります。

要約(オリジナル)

We introduce a new approach in distributed deep learning, utilizing Geoffrey Hinton’s Forward-Forward (FF) algorithm to speed up the training of neural networks in distributed computing environments. Unlike traditional methods that rely on forward and backward passes, the FF algorithm employs a dual forward pass strategy, significantly diverging from the conventional backpropagation process. This novel method aligns more closely with the human brain’s processing mechanisms, potentially offering a more efficient and biologically plausible approach to neural network training. Our research explores different implementations of the FF algorithm in distributed settings, to explore its capacity for parallelization. While the original FF algorithm focused on its ability to match the performance of the backpropagation algorithm, the parallelism aims to reduce training times and resource consumption, thereby addressing the long training times associated with the training of deep neural networks. Our evaluation shows a 3.75 times speed up on MNIST dataset without compromising accuracy when training a four-layer network with four compute nodes. The integration of the FF algorithm into distributed deep learning represents a significant step forward in the field, potentially revolutionizing the way neural networks are trained in distributed environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google