Natural Variational Annealing for Multimodal Optimization

要約

3つの基本的な概念の強度を組み合わせて、ブラックボックスの非コンセン型目標の複数のグローバルモードとローカルモードを同時に検索する自然変動アニーリング（NVA）と呼ばれる新しいマルチモーダル最適化アプローチを導入します。
まず、ガウスの混合物などの変動後の事後を使用して、同時検索を実装します。
第二に、アニーリングを適用して、搾取のために探査を徐々に交換します。
最後に、アップデートがよく知られていて実装しやすいアルゴリズムに似ている自然勾配学習を使用して、変動検索分布を学習します。
3つの概念は、新しいアルゴリズムを引き起こし、進化的アルゴリズムのコアコンセプトである「フィットネスシェーピング」を組み込むことができるようになり、NVAで一緒になります。
シミュレーションの検索の品質を評価し、勾配降下と進化戦略を使用した方法と比較します。
また、惑星科学における現実世界の逆問題への応用も提供します。

要約(オリジナル)

We introduce a new multimodal optimization approach called Natural Variational Annealing (NVA) that combines the strengths of three foundational concepts to simultaneously search for multiple global and local modes of black-box nonconvex objectives. First, it implements a simultaneous search by using variational posteriors, such as, mixtures of Gaussians. Second, it applies annealing to gradually trade off exploration for exploitation. Finally, it learns the variational search distribution using natural-gradient learning where updates resemble well-known and easy-to-implement algorithms. The three concepts come together in NVA giving rise to new algorithms and also allowing us to incorporate ‘fitness shaping’, a core concept from evolutionary algorithms. We assess the quality of search on simulations and compare them to methods using gradient descent and evolution strategies. We also provide an application to a real-world inverse problem in planetary science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google