How Well Does the Metropolis Algorithm Cope With Local Optima?

要約

タイトル：メトロポリスアルゴリズムは局所的最適解に対応できるか？

要約：

– メトロポリスアルゴリズム(MA)は、局所的最適解に陥ることを避けるために劣る解を受け入れることがある古典的な確率的局所探索ヒューリスティックアルゴリズムである。
– この能力をより厳密に理解するために、CLIFFベンチマークでMAの数学的なランタイム分析を行った。
– CLIFF関数は、一つの局所最適解を除いて、グローバル最適解に向かって単調に増加する。したがって、CLIFF関数を最適化するためには、MAは劣る解を一度だけ受け入れる必要がある。
– MAのための理想的なベンチマークであるように見えるが、数学的なランタイム分析は、最適な温度（MAの唯一のパラメータ）であっても、MAが大部分のCLIFF関数を単純なエリート進化アルゴリズム(EAs)よりも効率的に最適化できないことを示している。
– この結果は、MAが実践では非常に成功する理由についての理解がまだ完全でないことを示唆しており、MAにグローバル変異演算子を備えることが望ましいことを示唆している。

要約(オリジナル)

The Metropolis algorithm (MA) is a classic stochastic local search heuristic. It avoids getting stuck in local optima by occasionally accepting inferior solutions. To better and in a rigorous manner understand this ability, we conduct a mathematical runtime analysis of the MA on the CLIFF benchmark. Apart from one local optimum, cliff functions are monotonically increasing towards the global optimum. Consequently, to optimize a cliff function, the MA only once needs to accept an inferior solution. Despite seemingly being an ideal benchmark for the MA to profit from its main working principle, our mathematical runtime analysis shows that this hope does not come true. Even with the optimal temperature (the only parameter of the MA), the MA optimizes most cliff functions less efficiently than simple elitist evolutionary algorithms (EAs), which can only leave the local optimum by generating a superior solution possibly far away. This result suggests that our understanding of why the MA is often very successful in practice is not yet complete. Our work also suggests to equip the MA with global mutation operators, an idea supported by our preliminary experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI