MMD-Newton Method for Multi-objective Optimization

要約

確率分布間の距離を測定するために、最大平均不一致（MMD）が広く採用されています。
この論文では、MMDを使用して連続的な多目的最適化問題（MOPS）を解決することを提案します。
MOPを解くために、一般的なアプローチは、パレートフロントの有限概念セットと参照セットの間の距離（Hausdorffなど）を最小化することです。
これらの2つのセットを経験的尺度として表示すると、MMDを使用してそれらの間の距離を測定することを提案します。
MMD値を最小限に抑えるために、その勾配とHessian Matrix W.R.Tの分析的表現を提供します。
検索変数は、それらを使用して、新しいセット指向のMMDベースのニュートン（MMDN）メソッドを考案します。
また、MMDNの正確性を検証するために重要な1次の固定条件とヘシアンの固有種を含む、MMDの勾配とヘシアンの理論的特性を分析します。
複雑な問題を解決するために、多目的進化的アルゴリズム（MOEAS）でMMDNをハイブリダイズすることを提案します。ここでは、最初にいくつかの反復がEAを実行して、Gologal Pareto Frontに近づき、MOEAの結果を暖かくスタートして近似を効率的に模倣します。
広く使用されている11のベンチマーク問題でハイブリッドアルゴリズムを経験的にテストし、結果は、ハイブリッド（MMDN + MOEA）が同じ計算予算でEAだけよりもはるかに優れた最適化精度を達成できることを示しています。

要約(オリジナル)

Maximum mean discrepancy (MMD) has been widely employed to measure the distance between probability distributions. In this paper, we propose using MMD to solve continuous multi-objective optimization problems (MOPs). For solving MOPs, a common approach is to minimize the distance (e.g., Hausdorff) between a finite approximate set of the Pareto front and a reference set. Viewing these two sets as empirical measures, we propose using MMD to measure the distance between them. To minimize the MMD value, we provide the analytical expression of its gradient and Hessian matrix w.r.t. the search variables, and use them to devise a novel set-oriented, MMD-based Newton (MMDN) method. Also, we analyze the theoretical properties of MMD’s gradient and Hessian, including the first-order stationary condition and the eigenspectrum of the Hessian, which are important for verifying the correctness of MMDN. To solve complicated problems, we propose hybridizing MMDN with multiobjective evolutionary algorithms (MOEAs), where we first execute an EA for several iterations to get close to the global Pareto front and then warm-start MMDN with the result of the MOEA to efficiently refine the approximation. We empirically test the hybrid algorithm on 11 widely used benchmark problems, and the results show the hybrid (MMDN + MOEA) can achieve a much better optimization accuracy than EA alone with the same computation budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google