A Correlation-induced Finite Difference Estimator

要約

有限差分 (FD) 近似は、ノイズを含む関数の実現のみが利用可能な場合の確率的勾配推定への古典的なアプローチです。
この論文では、最初に最適な摂動を推定するためのブートストラップ手法によるサンプル駆動の方法を提供し、次に推定された最適な摂動での相関サンプルに基づく効率的な FD 推定器を提案します。
さらに、摂動推定量と FD 推定量の両方の理論的分析により、{\驚くべきことに}、相関関係により、提案された FD 推定量が従来の最適推定量と比較して分散の減少、場合によってはバイアスの減少を達成できることが明らかになりました。
FD推定器。
数値結果は、特にサンプルサイズが小さいシナリオにおいて、推定器の効率性を裏付けており、提示された理論とよく一致しています。
最後に、推定器を適用して導関数なしの最適化 (DFO) 問題を解決します。数値研究により、100 次元の DFO 問題が効果的に解決できることが示されています。

要約(オリジナル)

Finite difference (FD) approximation is a classic approach to stochastic gradient estimation when only noisy function realizations are available. In this paper, we first provide a sample-driven method via the bootstrap technique to estimate the optimal perturbation, and then propose an efficient FD estimator based on correlated samples at the estimated optimal perturbation. Furthermore, theoretical analyses of both the perturbation estimator and the FD estimator reveal that, {\it surprisingly}, the correlation enables the proposed FD estimator to achieve a reduction in variance and, in some cases, a decrease in bias compared to the traditional optimal FD estimator. Numerical results confirm the efficiency of our estimators and align well with the theory presented, especially in scenarios with small sample sizes. Finally, we apply the estimator to solve derivative-free optimization (DFO) problems, and numerical studies show that DFO problems with 100 dimensions can be effectively solved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google