Improving Pareto Set Learning for Expensive Multi-objective Optimization via Stein Variational Hypernetworks

要約

多目的最適化問題(EMOPs)は、目的関数の評価にコストがかかり、大規模な計算や物理的実験を必要とする実世界のシナリオでよく見られる。このような問題に対する現在のパレート集合学習法は、目的関数を近似するためにガウス過程などの代理モデルに依存することが多い。これらの代理モデルは断片化する可能性があり、探索された解の間に多数の小さな不確定領域が生じる。下位信頼境界（Lower Confidence Bound：LCB）のような獲得関数を用いる場合、これらの不確実な領域は擬似的な局所最適となり、大域的な最適解の探索を複雑にする。これらの課題に対処するために、我々はSVH-PSLと呼ばれる新しいアプローチを提案する。これは、効率的なパレート集合学習のために、SVGD（Stein Variational Gradient Descent）とハイパーネットワークを統合したものである。本手法は、解空間を平滑化する方法で粒子を集合的に移動させることにより、断片化した代理モデルと擬似局所最適の問題に対処する。粒子はカーネル関数を介して相互に作用し、多様性を維持し、未探索領域の探索を促す。このカーネルに基づく相互作用により、粒子が擬似的な局所最適値の周りに集まるのを防ぎ、大域的な最適解への収束を促進する。我々のアプローチは、トレードオフ参照ベクトルとそれに対応する真のパレート解との間にロバストな関係を確立し、既存の手法の限界を克服することを目的としている。合成および実世界のMOOベンチマークにおける広範な実験を通して、SVH-PSLが学習されたパレート集合の質を大幅に改善し、高価な多目的最適化問題に対する有望な解決策を提供することを実証する。

要約(オリジナル)

Expensive multi-objective optimization problems (EMOPs) are common in real-world scenarios where evaluating objective functions is costly and involves extensive computations or physical experiments. Current Pareto set learning methods for such problems often rely on surrogate models like Gaussian processes to approximate the objective functions. These surrogate models can become fragmented, resulting in numerous small uncertain regions between explored solutions. When using acquisition functions such as the Lower Confidence Bound (LCB), these uncertain regions can turn into pseudo-local optima, complicating the search for globally optimal solutions. To address these challenges, we propose a novel approach called SVH-PSL, which integrates Stein Variational Gradient Descent (SVGD) with Hypernetworks for efficient Pareto set learning. Our method addresses the issues of fragmented surrogate models and pseudo-local optima by collectively moving particles in a manner that smooths out the solution space. The particles interact with each other through a kernel function, which helps maintain diversity and encourages the exploration of underexplored regions. This kernel-based interaction prevents particles from clustering around pseudo-local optima and promotes convergence towards globally optimal solutions. Our approach aims to establish robust relationships between trade-off reference vectors and their corresponding true Pareto solutions, overcoming the limitations of existing methods. Through extensive experiments across both synthetic and real-world MOO benchmarks, we demonstrate that SVH-PSL significantly improves the quality of the learned Pareto set, offering a promising solution for expensive multi-objective optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL