B2Opt: Learning to Optimize Black-box Optimization with Little Budget

要約

タイトル：B2Opt：少ない予算でブラックボックス最適化を最適化するための学習

要約：

– ブラックボックス最適化（BBO）における高次元かつ高価な最適化の課題を解決するために、L2O（学習による最適化）が有用なフレームワークとして注目されている。
– L2Oは、人間の介入なしにターゲットタスクから最適化戦略を自動的に学習する。
– 現在のL2Oベースの方法では、トレーニング中に高価な黒箱関数を多数評価するため最適化戦略の表現が弱いため、高次元で高価なBBOを扱う場合にパフォーマンスが弱い。
– そこで、本研究では、1）ターゲットタスクの安価な代理関数を利用して最適化戦略の設計を指導し、2）進化アルゴリズムのメカニズムに着想を得て、最適化戦略の強力な表現を持つB2Optという新しいフレームワークを提案する。
– B2Optは、BBOのベースラインと比較して、少ない関数評価コストで3〜$10^6$倍の性能向上を達成できる。
– 高次元の合成関数と2つの現実的なアプリケーションで提案をテストし、深いB2Optのほうが浅いものよりも性能が良いことを発見した。

要約(オリジナル)

Learning to optimize (L2O) has emerged as a powerful framework for black-box optimization (BBO). L2O learns the optimization strategies from the target task automatically without human intervention. This paper focuses on obtaining better performance when handling high-dimensional and expensive BBO with little function evaluation cost, which is the core challenge of black-box optimization. However, current L2O-based methods are weak for this due to a large number of evaluations on expensive black-box functions during training and poor representation of optimization strategy. To achieve this, 1) we utilize the cheap surrogate functions of the target task to guide the design of the optimization strategies; 2) drawing on the mechanism of evolutionary algorithm (EA), we propose a novel framework called B2Opt, which has a stronger representation of optimization strategies. Compared to the BBO baselines, B2Opt can achieve 3 to $10^6$ times performance improvement with less function evaluation cost. We test our proposal in high-dimensional synthetic functions and two real-world applications. We also find that deep B2Opt performs better than shallow ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI