Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation

要約

アルゴリズム、演算子、シミュレーター、その他の微分不可能な関数の確率的微分可能緩和のための勾配推定の問題を扱います。
確率的平滑化は従来、完全なサポートを備えた微分可能な密度分布を持つ非微分可能関数の入力を摂動させ、それを平滑化し、勾配推定を可能にします。
私たちの理論は、微分可能な密度や完全なサポートを必要とせずに、仮定を減らして確率的平滑化を導出する第一原理から始まり、微分不可能なブラックボックス関数の緩和と勾配推定のための一般的なフレームワークを提示します $f:\mathbb{R}
^n\to\mathbb{R}^m$。
3 つの直交する観点から勾配推定のための分散削減を開発します。
経験的に、微分可能なソートとランキング、グラフ上の微分可能な最短経路、姿勢推定のための微分可能なレンダリング、微分可能なクライオ ET シミュレーションについて、6 つの分布と最大 24 の分散削減戦略をベンチマークします。

要約(オリジナル)

We deal with the problem of gradient estimation for stochastic differentiable relaxations of algorithms, operators, simulators, and other non-differentiable functions. Stochastic smoothing conventionally perturbs the input of a non-differentiable function with a differentiable density distribution with full support, smoothing it and enabling gradient estimation. Our theory starts at first principles to derive stochastic smoothing with reduced assumptions, without requiring a differentiable density nor full support, and we present a general framework for relaxation and gradient estimation of non-differentiable black-box functions $f:\mathbb{R}^n\to\mathbb{R}^m$. We develop variance reduction for gradient estimation from 3 orthogonal perspectives. Empirically, we benchmark 6 distributions and up to 24 variance reduction strategies for differentiable sorting and ranking, differentiable shortest-paths on graphs, differentiable rendering for pose estimation, as well as differentiable cryo-ET simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google