Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees

要約

タイトル：Gradient Clippingの見直し：確率的バイアスと収束保証の強化

要約：
– Gradient clippingとは、標準（確率的）勾配降下法を改良するための手法であり、各イテレーションにおいて勾配ノルムをある値$c > 0$に制限するものである。
– この手法は、深層学習モデルのトレーニングの安定化や、差分プライバシーの強制などに広く使われている。
– しかし、グラディエントクリッピングの収束保証には、しばしば特定の$c$の値や強いノイズの仮定が必要であった。
– 本論文では、勾配クリッピングのしきい値$c$に特定の値を設定する必要性がなく、かつ決定的勾配と確率的勾配の両方で収束保証が得られることを示す。
– 具体的には、(i) 決定論的勾配降下法では、クリッピングしきい値が収束に影響を与えるのは高次の収束項のみであること、(ii) 確率的な設定では、標準的なノイズ仮定の下ではどんな小さなステップサイズでも真の最適解への収束が保証できないことが示されている。
– 勾配クリッピングを実施した場合の勾配ノルムの収束について、上限と下限の収束保証を与えるとともに、実験を行ってその結果を示す。

要約(オリジナル)

Gradient clipping is a popular modification to standard (stochastic) gradient descent, at every iteration limiting the gradient norm to a certain value $c >0$. It is widely used for example for stabilizing the training of deep learning models (Goodfellow et al., 2016), or for enforcing differential privacy (Abadi et al., 2016). Despite popularity and simplicity of the clipping mechanism, its convergence guarantees often require specific values of $c$ and strong noise assumptions. In this paper, we give convergence guarantees that show precise dependence on arbitrary clipping thresholds $c$ and show that our guarantees are tight with both deterministic and stochastic gradients. In particular, we show that (i) for deterministic gradient descent, the clipping threshold only affects the higher-order terms of convergence, (ii) in the stochastic setting convergence to the true optimum cannot be guaranteed under the standard noise assumption, even under arbitrary small step-sizes. We give matching upper and lower bounds for convergence of the gradient norm when running clipped SGD, and illustrate these results with experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI