On the Trade-off between Flatness and Optimization in Distributed Learning

要約

この論文では、非凸環境における極小値付近の挙動に関連した分散学習用の勾配降下法アルゴリズムのパフォーマンスを評価および比較するための理論的枠組みを提案します。
これまでの研究では、平坦な極小値への収束が学習アルゴリズムの汎化能力を高める傾向があることがわかっています。
この研究により、2 つの興味深い結果が発見されました。
まず、分散学習戦略は、大規模バッチのトレーニング体制における集中型ソリューションと比較して、局所的最小化からより早く抜け出すことができ、よりフラットな最小値への収束を促進できることを示しています。
第 2 に、これが重要なことですが、最終的な分類精度は、局所最小化関数の平坦性だけに依存するのではなく、学習アルゴリズムがその最小値にどれだけうまく近づくことができるかにも依存します。
言い換えれば、分類精度は平坦性と最適化パフォーマンスの両方の関数です。
この論文では、平坦性と最適化誤差の 2 つの尺度間の相互作用を詳しく調べています。
重要な結論の 1 つは、拡散タイプの分散戦略は平坦性と最適化パフォーマンスの間でより好ましいバランスをとるため、分類精度が向上するということです。

要約(オリジナル)

This paper proposes a theoretical framework to evaluate and compare the performance of gradient-descent algorithms for distributed learning in relation to their behavior around local minima in nonconvex environments. Previous works have noticed that convergence toward flat local minima tend to enhance the generalization ability of learning algorithms. This work discovers two interesting results. First, it shows that decentralized learning strategies are able to escape faster away from local minimizers and favor convergence toward flatter minima relative to the centralized solution in the large-batch training regime. Second, and importantly, the ultimate classification accuracy is not solely dependent on the flatness of the local minimizer but also on how well a learning algorithm can approach that minimum. In other words, the classification accuracy is a function of both flatness and optimization performance. The paper examines the interplay between the two measures of flatness and optimization error closely. One important conclusion is that decentralized strategies of the diffusion type deliver enhanced classification accuracy because it strikes a more favorable balance between flatness and optimization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google