Bridging Discrete and Backpropagation: Straight-Through and Beyond

要約

深層学習の基礎であるバックプロパゲーションは、連続変数の勾配の計算に限定されています。
この制限により、離散潜在変数が関係する問題に課題が生じます。
この問題に対処するために、離散潜在変数の生成に関与するパラメーターの勾配を近似する新しいアプローチを提案します。
まず、広く使用されているストレートスルー (ST) ヒューリスティックを検証し、それが勾配の一次近似として機能することを実証します。
私たちの発見に基づいて、ODE を解くための 2 次数値法である Heun の方法を統合することにより 2 次精度を達成する ReinMax を提案します。
ReinMax はヘッセ行列やその他の 2 次導関数を必要としないため、計算のオーバーヘッドは無視できます。
さまざまなタスクに関する広範な実験結果により、ReinMax が最先端技術よりも優れていることが実証されています。
実装は https://github.com/microsoft/ReinMax でリリースされます。

要約(オリジナル)

Backpropagation, the cornerstone of deep learning, is limited to computing gradients for continuous variables. This limitation poses challenges for problems involving discrete latent variables. To address this issue, we propose a novel approach to approximate the gradient of parameters involved in generating discrete latent variables. First, we examine the widely used Straight-Through (ST) heuristic and demonstrate that it works as a first-order approximation of the gradient. Guided by our findings, we propose ReinMax, which achieves second-order accuracy by integrating Heun’s method, a second-order numerical method for solving ODEs. ReinMax does not require Hessian or other second-order derivatives, thus having negligible computation overheads. Extensive experimental results on various tasks demonstrate the superiority of ReinMax over the state of the art. Implementations are released at https://github.com/microsoft/ReinMax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google