Natural Variational Annealing for Multimodal Optimization

要約

私たちは、ナチュラル変分アニーリング (NVA) と呼ばれる新しいマルチモーダル最適化アプローチを導入します。これは、3 つの基本概念の長所を組み合わせて、ブラック ボックスの非凸目標の複数のグローバル モードとローカル モードを同時に探索します。
まず、ガウスの混合などの変分事後分布を使用して同時検索を実装します。
2 番目に、アニーリングを適用して、探索と活用を徐々にトレードオフします。
最後に、更新がよく知られた実装が簡単なアルゴリズムに似た自然勾配学習を使用して、変分検索分布を学習します。
NVA では 3 つの概念が統合されて新しいアルゴリズムが誕生し、進化的アルゴリズムの中核概念である「フィットネス シェーピング」を組み込むことも可能になります。
シミュレーションで検索の品質を評価し、勾配降下法や進化戦略を使用した方法と比較します。
また、惑星科学における現実世界の逆問題へのアプリケーションも提供します。

要約(オリジナル)

We introduce a new multimodal optimization approach called Natural Variational Annealing (NVA) that combines the strengths of three foundational concepts to simultaneously search for multiple global and local modes of black-box nonconvex objectives. First, it implements a simultaneous search by using variational posteriors, such as, mixtures of Gaussians. Second, it applies annealing to gradually trade off exploration for exploitation. Finally, it learns the variational search distribution using natural-gradient learning where updates resemble well-known and easy-to-implement algorithms. The three concepts come together in NVA giving rise to new algorithms and also allowing us to incorporate ‘fitness shaping’, a core concept from evolutionary algorithms. We assess the quality of search on simulations and compare them to methods using gradient descent and evolution strategies. We also provide an application to a real-world inverse problem in planetary science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google