Forward-Forward Training of an Optical Neural Network

要約

ニューラル ネットワーク (NN) はさまざまなタスクで優れた機能を実証していますが、その計算集約型の性質により、より高速でエネルギー効率の高いハードウェア実装が求められています。
シリコンフォトニクスや空間光変調器などの技術を使用した光学ベースのプラットフォームは、この目標を達成するための有望な手段を提供します。
ただし、これらの物理システムと並行して複数のトレーニング可能な層をトレーニングすると、微分可能な関数で完全に特徴付けて記述することが難しく、誤差逆伝播アルゴリズムの使用が妨げられるため、課題が生じます。
最近導入された Forward-Forward Algorithm (FFA) は、学習システムの完全な特性評価の必要性を排除し、多数のプログラム可能なパラメーターを使用した効率的なトレーニングが期待できることを示しています。
FFA では、重みを更新するためにエラー信号を逆伝播する必要はなく、情報を一方向に送信するだけで重みが更新されます。
トレーニング可能な重みの各セットのローカル損失関数により、メタヒューリスティック アルゴリズムや強化学習に頼ることなく、低電力アナログ ハードウェア実装が可能になります。
この論文では、光学システムを使用した FFA アプローチの実現可能性を実証する、光ファイバー内のマルチモード非線形波動伝播を利用した実験を紹介します。
この結果は、FFA でトレーニングされた多層 NN アーキテクチャに光学変換を組み込むと、トレーニング可能な重みの数が比較的少ない場合でも、パフォーマンスの向上につながる可能性があることを示しています。
提案された方法は、光学 NN のトレーニングという課題に新たな道を提供し、NN のパフォーマンスを向上させるための物理的変換の活用に関する洞察を提供します。

要約(オリジナル)

Neural networks (NN) have demonstrated remarkable capabilities in various tasks, but their computation-intensive nature demands faster and more energy-efficient hardware implementations. Optics-based platforms, using technologies such as silicon photonics and spatial light modulators, offer promising avenues for achieving this goal. However, training multiple trainable layers in tandem with these physical systems poses challenges, as they are difficult to fully characterize and describe with differentiable functions, hindering the use of error backpropagation algorithm. The recently introduced Forward-Forward Algorithm (FFA) eliminates the need for perfect characterization of the learning system and shows promise for efficient training with large numbers of programmable parameters. The FFA does not require backpropagating an error signal to update the weights, rather the weights are updated by only sending information in one direction. The local loss function for each set of trainable weights enables low-power analog hardware implementations without resorting to metaheuristic algorithms or reinforcement learning. In this paper, we present an experiment utilizing multimode nonlinear wave propagation in an optical fiber demonstrating the feasibility of the FFA approach using an optical system. The results show that incorporating optical transforms in multilayer NN architectures trained with the FFA, can lead to performance improvements, even with a relatively small number of trainable weights. The proposed method offers a new path to the challenge of training optical NNs and provides insights into leveraging physical transformations for enhancing NN performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google