MirrorCBO: A consensus-based optimization method in the spirit of mirror descent

要約

この研究では、ミラー降下法が勾配降下法を一般化するのと同じ方法で標準 CBO を一般化するコンセンサスベースの最適化 (CBO) 手法である MirrorCBO を提案します。
このために、CBO 手法を二重粒子の群れに適用し、ミラー マップの逆関数を適用することで主粒子の位置を保持します。ミラー マップは、強い凸関数 $\phi$ の微分としてパラメータ化されます。
このようにして、導関数のない非凸最適化アルゴリズムの利点とミラー降下の利点を組み合わせます。
特殊なケースとして、このメソッドは CBO を凸制約を伴う最適化問題に拡張します。
$\phi$ に関連付けられたブレグマン距離の限界を仮定して、明示的な指数関数率を使用した MirrorCBO の漸近収束結果を提供します。
もう 1 つの重要な貢献は、(i) スパース性誘導最適化と (ii) 制約付き最適化に焦点を当てた、さまざまなアプリケーション設定にわたるこの新しいアルゴリズムの探索的な数値研究であり、MirrorCBO の競争力のあるパフォーマンスを実証しています。
この方法はユークリッド空間の（非凸）部分多様体での最適化にも使用でき、他の最近の CBO バリアントのミラーリングされたバージョンにも適用でき、ミラー降下から次のような望ましいミニマイザーを選択する機能を継承していることが経験的に観察されています。
まばらなもの。
また、制約付き最適化のための最近の CBO アプローチの概要も示し、そのパフォーマンスを MirrorCBO と比較します。

要約(オリジナル)

In this work we propose MirrorCBO, a consensus-based optimization (CBO) method which generalizes standard CBO in the same way that mirror descent generalizes gradient descent. For this we apply the CBO methodology to a swarm of dual particles and retain the primal particle positions by applying the inverse of the mirror map, which we parametrize as the subdifferential of a strongly convex function $\phi$. In this way, we combine the advantages of a derivative-free non-convex optimization algorithm with those of mirror descent. As a special case, the method extends CBO to optimization problems with convex constraints. Assuming bounds on the Bregman distance associated to $\phi$, we provide asymptotic convergence results for MirrorCBO with explicit exponential rate. Another key contribution is an exploratory numerical study of this new algorithm across different application settings, focusing on (i) sparsity-inducing optimization, and (ii) constrained optimization, demonstrating the competitive performance of MirrorCBO. We observe empirically that the method can also be used for optimization on (non-convex) submanifolds of Euclidean space, can be adapted to mirrored versions of other recent CBO variants, and that it inherits from mirror descent the capability to select desirable minimizers, like sparse ones. We also include an overview of recent CBO approaches for constrained optimization and compare their performance to MirrorCBO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google