Simulating, Fast and Slow: Learning Policies for Black-Box Optimization

要約

近年、ブラックボックス シミュレーターを含む最適化問題の解決は、科学や工学の分野で広く普及しているため、機械学習コミュニティの焦点となっています。
シミュレータは、シミュレーション パラメータ $\psi$ と入力データ $x$ から観測値 $y$ までの順方向プロセス $f_{\mathrm{sim}}: (\psi, x) \rightarrow y$ と、その目標を記述します。
最適化問題は、目的の損失関数を最小化するパラメータ $\psi$ を見つけることです。
高度な最適化アルゴリズムは通常、パラメータ $\psi$ に関する順方向プロセス $f_{\mathrm{sim}}$ に関する勾配情報を必要とします。
ただし、ブラックボックス シミュレーターから勾配を取得するには、法外に高価な場合や、場合によっては不可能な場合があります。
さらに、多くのアプリケーションでは、実務者は一連の関連する問題を解決することを目指しています。
したがって、フォワード モデルの評価にコストがかかる場合、最適化を「ab initio」、つまり最初から毎回開始するのは非効率となる可能性があります。
これらの課題に対処するために、この論文では、微分可能なサロゲートのトレーニングをガイドし、サロゲートの勾配を使用して勾配降下法でシミュレーション パラメーターを最適化するアクティブ ラーニング ポリシーを学習することで、同様のブラック ボックス最適化問題のクラスを解決するための新しい方法を紹介します。
ポリシーをトレーニングした後、ブラック ボックス シミュレーターに関連する問題の下流の最適化では、ローカル サロゲート ベースのアプローチ、数値最適化、ベイジアン手法などのベースラインと比較して、高価なシミュレーター呼び出しが最大 $\sim$90\% 少なくて済みます。

要約(オリジナル)

In recent years, solving optimization problems involving black-box simulators has become a point of focus for the machine learning community due to their ubiquity in science and engineering. The simulators describe a forward process $f_{\mathrm{sim}}: (\psi, x) \rightarrow y$ from simulation parameters $\psi$ and input data $x$ to observations $y$, and the goal of the optimization problem is to find parameters $\psi$ that minimize a desired loss function. Sophisticated optimization algorithms typically require gradient information regarding the forward process, $f_{\mathrm{sim}}$, with respect to the parameters $\psi$. However, obtaining gradients from black-box simulators can often be prohibitively expensive or, in some cases, impossible. Furthermore, in many applications, practitioners aim to solve a set of related problems. Thus, starting the optimization “ab initio’, i.e. from scratch, each time might be inefficient if the forward model is expensive to evaluate. To address those challenges, this paper introduces a novel method for solving classes of similar black-box optimization problems by learning an active learning policy that guides a differentiable surrogate’s training and uses the surrogate’s gradients to optimize the simulation parameters with gradient descent. After training the policy, downstream optimization of problems involving black-box simulators requires up to $\sim$90\% fewer expensive simulator calls compared to baselines such as local surrogate-based approaches, numerical optimization, and Bayesian methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google