Composite Optimization Algorithms for Sigmoid Networks

要約

タイトル：シグモイドネットワークのための複合最適化アルゴリズム

要約：
– 本論文では、複合最適化アルゴリズムを用いてシグモイドネットワークを解く方法を提案する。
– シグモイドネットワークを凸の複合最適化問題に置き換え、線形化されたプロキシマルアルゴリズムと交互方向乗数法に基づく複合最適化アルゴリズムを提案する。
– 弱シャープ最小値仮定と正則性条件の仮定下では、アルゴリズムは非凸かつ非滑らかな問題の場合でも目的関数のグローバル最適解に収束することが保証される。
– さらに、収束結果はトレーニングデータの量に直接関連し、シグモイドネットワークのサイズ設定の一般的なガイドを提供する。
– Franke関数のフィッティングおよび手書き数字認識の数値実験では、提案されたアルゴリズムが満足のいく結果を示し、堅牢性があることが示された。

要約(オリジナル)

In this paper, we use composite optimization algorithms to solve sigmoid networks. We equivalently transfer the sigmoid networks to a convex composite optimization and propose the composite optimization algorithms based on the linearized proximal algorithms and the alternating direction method of multipliers. Under the assumptions of the weak sharp minima and the regularity condition, the algorithm is guaranteed to converge to a globally optimal solution of the objective function even in the case of non-convex and non-smooth problems. Furthermore, the convergence results can be directly related to the amount of training data and provide a general guide for setting the size of sigmoid networks. Numerical experiments on Franke’s function fitting and handwritten digit recognition show that the proposed algorithms perform satisfactorily and robustly.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI