Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally

要約

タイトル：Select without Fear：ほぼすべてのミニバッチスケジュールは最適な汎化を実現する

要約：

– ミニバッチ勾配降下法（GD）トレーニングでは、データに独立して選択されたがそれ以外は任意のバッチ選択ルールを使用する場合、上限および下限の一致する汎化誤差境界を確立する。
– スムーズなリプシッツ凸 / 非凸/強く凸な損失関数を考慮し、古典的な上限境界がすべての非適応的なバッチスケジュール、 deterministicなものを含む、このような任意のバッチスケジュールについてverbatimにStochastic GD（SGD）にも適用されることを示します。
– 凸および強く凸な損失について、上記のバッチスケジュールクラスによる一致する一般化エラーの下限境界を直接証明し、すべてのバッチスケジュールが最適な汎化を実現することを示します。
– 最後に、スムーズな（非リプシッツ）非凸損失については、考慮されるクラス内のすべてのバッチスケジュール、ストキャスティックを含む、可能なすべてのバッチスケジュールの中で、フルバッチ（deterministic）GDが本質的に最適であることを示します。

要約(オリジナル)

We establish matching upper and lower generalization error bounds for mini-batch Gradient Descent (GD) training with either deterministic or stochastic, data-independent, but otherwise arbitrary batch selection rules. We consider smooth Lipschitz-convex/nonconvex/strongly-convex loss functions, and show that classical upper bounds for Stochastic GD (SGD) also hold verbatim for such arbitrary nonadaptive batch schedules, including all deterministic ones. Further, for convex and strongly-convex losses we prove matching lower bounds directly on the generalization error uniform over the aforementioned class of batch schedules, showing that all such batch schedules generalize optimally. Lastly, for smooth (non-Lipschitz) nonconvex losses, we show that full-batch (deterministic) GD is essentially optimal, among all possible batch schedules within the considered class, including all stochastic ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI