Greedy Restart Schedules: A Baseline for Dynamic Algorithm Selection on Numerical Black-box Optimization Problems

要約

多くの最適化ドメインでは、全体的な最先端に貢献する複数の異なるソルバーがあり、それぞれがいくつかでより良いパフォーマンスを発揮し、他のタイプの問題インスタンスではさらに悪いことです。
インスタンスベースのアルゴリズムの選択、構成、スケジューリングなどのメタアルゴリズムアプローチは、（構成可能な）オプティマイザーのセットから可能なパフォーマンスを抽出することにより、このギャップを閉じることを目指しています。
これに関連して、最高のパフォーマンスを発揮する個々のアルゴリズムは、多くの場合、高速ローカル最適化アプローチの多くの再起動を実行する手作りのハイブリッドヒューリスティックです。
ただし、最適化された再起動スケジュールを作成するためのデータ駆動型の手法は、まだ広範囲に研究されていません。
ここでは、選択時に未解決のトレーニング問題の分布を最適に実行するアルゴリズムを繰り返し選択する簡単なスケジューリングアプローチを提示し、問題に依存しないソルバースケジュールになります。
BBOBテストベッドの数値ブラックボックス最適化からよく知られているオプティマーを使用して、さまざまな評価プロトコルにわたって元のポートフォリオからのシングルと仮想ベストソルバーのギャップの多くを埋めるアプローチを実証します。
貪欲な再起動スケジュールは、より複雑な動的アルゴリズム選択モデルの強力なベースラインを提供します。

要約(オリジナル)

In many optimization domains, there are multiple different solvers that contribute to the overall state-of-the-art, each performing better on some, and worse on other types of problem instances. Meta-algorithmic approaches, such as instance-based algorithm selection, configuration and scheduling, aim to close this gap by extracting the most performance possible from a set of (configurable) optimizers. In this context, the best performing individual algorithms are often hand-crafted hybrid heuristics which perform many restarts of fast local optimization approaches. However, data-driven techniques to create optimized restart schedules have not yet been extensively studied. Here, we present a simple scheduling approach that iteratively selects the algorithm performing best on the distribution of unsolved training problems at time of selection, resulting in a problem-independent solver schedule. We demonstrate our approach using well-known optimizers from numerical black-box optimization on the BBOB testbed, bridging much of the gap between single and virtual best solver from the original portfolio across various evaluation protocols. Our greedy restart schedule presents a powerful baseline for more complex dynamic algorithm selection models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google