Stochastic Two Points Method for Deep Model Zeroth-order Optimization

要約

大規模な言語モデルのような大規模な基礎モデルは、様々な応用シナリオで非常に優れた性能を発揮してきた。このような大規模モデルを構築したり、完全に微調整したりすることは、ハードウェアの予算やバックプロパゲーションへのアクセス不足のために、通常不可能である。ゼロ次手法は、この課題に取り組むための有望な方向性を提供し、モデルを更新するために必要なのはフォワードパスだけである。本論文では、勾配なし領域における効率的な確率的2点（S2P）アプローチを紹介する。S2Pの理論的な収束特性を、一般的かつ緩やかな平滑性の仮定の下で示す。理論的特性はまた、学習中のディープモデルのダイナミクスをよりよく表現する新しい収束特性を利用することで、より高速で安定したS2Pの変形であるAccelerated S2P (AS2P)にも光を当てる。我々の包括的な実証結果から、AS2Pが、言語モデルを含む大規模ディープ・モデルの目的最適化に非常に効果的であり、様々なモデル・タイプとスケールで標準的な手法を上回り、ほとんどの実施タスクで訓練が2倍速になった。

要約(オリジナル)

Large foundation models, such as large language models, have performed exceptionally well in various application scenarios. Building or fully fine-tuning such large models is usually prohibitive due to either hardware budget or lack of access to backpropagation. The zeroth-order methods offer a promising direction for tackling this challenge, where only forward passes are needed to update the model. This paper introduces an efficient Stochastic Two-Point (S2P) approach within the gradient-free regime. We present the theoretical convergence properties of S2P under the general and relaxed smoothness assumptions. The theoretical properties also shed light on a faster and more stable S2P variant, Accelerated S2P (AS2P), through exploiting our new convergence properties that better represent the dynamics of deep models in training. Our comprehensive empirical results show that AS2P is highly effective in optimizing objectives for large deep models, including language models, and outperforms standard methods across various model types and scales, with 2 $\times$ speed-up in training over most conducted tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL