Composite Optimization Algorithms for Sigmoid Networks

要約

この論文では、複合最適化アルゴリズムを使用してシグモイド ネットワークを解決します。
シグモイドネットワークを凸複合最適化に同等に転送し、線形化された近位アルゴリズムと乗数の交互方向法に基づく複合最適化アルゴリズムを提案します。
弱い極小値と規則性条件の仮定の下で、アルゴリズムは、非凸および非平滑問題の場合でも、目的関数の大域的最適解に収束することが保証されます。
さらに、収束結果はトレーニング データの量に直接関係する可能性があり、シグモイド ネットワークのサイズを設定するための一般的なガイドを提供します。
フランケ関数フィッティングと手書き数字認識に関する数値実験は、提案されたアルゴリズムが十分かつ確実に機能することを示しています。

要約(オリジナル)

In this paper, we use composite optimization algorithms to solve sigmoid networks. We equivalently transfer the sigmoid networks to a convex composite optimization and propose the composite optimization algorithms based on the linearized proximal algorithms and the alternating direction method of multipliers. Under the assumptions of the weak sharp minima and the regularity condition, the algorithm is guaranteed to converge to a globally optimal solution of the objective function even in the case of non-convex and non-smooth problems. Furthermore, the convergence results can be directly related to the amount of training data and provide a general guide for setting the size of sigmoid networks. Numerical experiments on Franke’s function fitting and handwritten digit recognition show that the proposed algorithms perform satisfactorily and robustly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google