Explainable Benchmarking for Iterative Optimization Heuristics

要約

ヒューリスティック アルゴリズムのベンチマークを行うことは、特定のアルゴリズムがどのような条件下で、どのような種類の問題でうまく機能するかを理解するために不可欠です。
ヒューリスティック最適化アルゴリズムに関する最新の研究では、非常に限られた数のシナリオ、アルゴリズム構成、ハイパーパラメータ設定のみが調査されており、不完全で偏った洞察と結果が得られることが多いです。
このペーパーでは、説明可能なベンチマークと呼ばれる新しいアプローチを紹介します。
さまざまな最適化アルゴリズムのパフォーマンスと、それらのさまざまなコンポーネントやハイパーパラメーターの影響を分析および理解するための IOH-Xplainer ソフトウェア フレームワークを紹介します。
2 つのモジュール最適化フレームワークのコンテキストでフレームワークを紹介します。
このフレームワークを通じて、さまざまなアルゴリズム コンポーネントと構成の影響を調査し、さまざまなシナリオにわたるパフォーマンスに関する洞察を提供します。
私たちは、反復最適化ヒューリスティックの動作と効率をより透過的かつわかりやすい方法で評価および解釈する体系的な方法を提供し、より優れたベンチマークとアルゴリズム設計を可能にします。

要約(オリジナル)

Benchmarking heuristic algorithms is vital to understand under which conditions and on what kind of problems certain algorithms perform well. In most current research into heuristic optimization algorithms, only a very limited number of scenarios, algorithm configurations and hyper-parameter settings are explored, leading to incomplete and often biased insights and results. This paper presents a novel approach we call explainable benchmarking. Introducing the IOH-Xplainer software framework, for analyzing and understanding the performance of various optimization algorithms and the impact of their different components and hyper-parameters. We showcase the framework in the context of two modular optimization frameworks. Through this framework, we examine the impact of different algorithmic components and configurations, offering insights into their performance across diverse scenarios. We provide a systematic method for evaluating and interpreting the behaviour and efficiency of iterative optimization heuristics in a more transparent and comprehensible manner, allowing for better benchmarking and algorithm design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google