A Closed-form Solution for Weight Optimization in Fully-connected Feed-forward Neural Networks

要約

この研究では、完全接続フィードフォワード ニューラル ネットワークの重み最適化問題に取り組んでいます。
バックプロパゲーション (BP) やチェーン ルール勾配ベースの最適化 (反復実行を意味し、場合によっては面倒で時間がかかる可能性がある) に基づく既存のアプローチとは異なり、提案されたアプローチは、閉じた形式での重み最適化のソリューションを提供します。
最小二乗法 (LS) 手法による。
入力から出力へのマッピングが単射的である場合、新しいアプローチでは、ニューロンごとに各層の重みのセットを共同で最適化することにより、単一の反復で逆伝播方式で重みを最適化します。
入力から出力へのマッピングが単射的でない場合 (分類問題など)、提案された解決策は簡単に適応されて、数回の反復で最終的な解決策が得られます。
既存のソリューションに対する重要な利点は、これらの計算 (層内のすべてのニューロンに対する) が互いに独立していることです。
したがって、それらを並行して実行して、特定のレイヤー内のすべての重みを同時に最適化できます。
さらに、すべてのネットワーク層の重みを最適化するために必要な計算の正確な数を取得できるという意味で、その実行時間は決定的です (非注入マッピングの場合は反復ごと)。
私たちのシミュレーションと実験の結果は、提案されたスキームである BPLS がうまく機能し、精度の点では既存のスキームと競合できますが、実行時間の点では既存のスキームを大幅に上回っていることを示しています。
要約すると、新しい方法は実装が簡単で、競争力があり、既存の方法よりも計算効率が高く、並列実装に適しています。

要約(オリジナル)

This work addresses weight optimization problem for fully-connected feed-forward neural networks. Unlike existing approaches that are based on back-propagation (BP) and chain rule gradient-based optimization (which implies iterative execution, potentially burdensome and time-consuming in some cases), the proposed approach offers the solution for weight optimization in closed-form by means of least squares (LS) methodology. In the case where the input-to-output mapping is injective, the new approach optimizes the weights in a back-propagating fashion in a single iteration by jointly optimizing a set of weights in each layer for each neuron. In the case where the input-to-output mapping is not injective (e.g., in classification problems), the proposed solution is easily adapted to obtain its final solution in a few iterations. An important advantage over the existing solutions is that these computations (for all neurons in a layer) are independent from each other; thus, they can be carried out in parallel to optimize all weights in a given layer simultaneously. Furthermore, its running time is deterministic in the sense that one can obtain the exact number of computations necessary to optimize the weights in all network layers (per iteration, in the case of non-injective mapping). Our simulation and empirical results show that the proposed scheme, BPLS, works well and is competitive with existing ones in terms of accuracy, but significantly surpasses them in terms of running time. To summarize, the new method is straightforward to implement, is competitive and computationally more efficient than the existing ones, and is well-tailored for parallel implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google