Mirror Natural Evolution Strategies

要約

0 次最適化は、機械学習アプリケーションで広く使用されています。
ただし、0 次最適化の理論的研究は、ランダムな方向での (0 次) 関数値の差を使用して (1 次) 勾配を近似するアルゴリズムに焦点を当てています。
0 次クエリによって勾配とヘッセ行列情報を近似するアルゴリズムの理論は、あまり研究されていません。
この論文では、0次クエリによって近似された1次情報と2次情報の両方を利用する0次最適化の理論に焦点を当てます。
まず、パラメータ $(\mu, \Sigma)$ をもつ新しい再パラメータ化された目的関数を提案します。
この再パラメータ化された目的関数は、元の目的関数の最小化関数とヘシアン逆関数でそれぞれ最適化されますが、小さな摂動が伴います。
したがって、提案した再パラメータ化された目的を最小化するための新しいアルゴリズムを提案します。これを \texttt{MiNES} (鏡降下自然進化戦略) と呼びます。
\texttt{MiNES} の推定共分散行列が収束率 $\widetilde{\mathcal{O}}(1/k)$ で目的関数のヘッセ行列の逆行列に収束することを示します。ここで $k$ は
反復数と $\widetilde{\mathcal{O}}(\cdot)$ は定数と $\log$ 項を非表示にします。
\texttt{MiNES} の明示的な収束率と、共分散行列がどのように収束率を促進するかについても説明します。

要約(オリジナル)

The zeroth-order optimization has been widely used in machine learning applications. However, the theoretical study of the zeroth-order optimization focus on the algorithms which approximate (first-order) gradients using (zeroth-order) function value difference at a random direction. The theory of algorithms which approximate the gradient and Hessian information by zeroth-order queries is much less studied. In this paper, we focus on the theory of zeroth-order optimization which utilizes both the first-order and second-order information approximated by the zeroth-order queries. We first propose a novel reparameterized objective function with parameters $(\mu, \Sigma)$. This reparameterized objective function achieves its optimum at the minimizer and the Hessian inverse of the original objective function respectively, but with small perturbations. Accordingly, we propose a new algorithm to minimize our proposed reparameterized objective, which we call \texttt{MiNES} (mirror descent natural evolution strategy). We show that the estimated covariance matrix of \texttt{MiNES} converges to the inverse of Hessian matrix of the objective function with a convergence rate $\widetilde{\mathcal{O}}(1/k)$, where $k$ is the iteration number and $\widetilde{\mathcal{O}}(\cdot)$ hides the constant and $\log$ terms. We also provide the explicit convergence rate of \texttt{MiNES} and how the covariance matrix promotes the convergence rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google