The Pitfalls of Benchmarking in Algorithm Selection: What We Are Getting Wrong

要約

特定の問題に最適なアルゴリズムを特定することを目的としたアルゴリズムの選択は、継続的なブラックボックスの最適化において極めて重要な役割を果たします。
一般的なアプローチには、一連の機能を使用して最適化関数を表すことが含まれます。これは、適切なアルゴリズムを選択するための機械学習メタモデルをトレーニングするために使用されます。
さまざまなアプローチにより、これらのアルゴリズム選択メタモデルの有効性が実証されています。
ただし、すべての評価アプローチがメタモデルのパフォーマンスを評価するために等しく有効であるわけではありません。
コミュニティで頻繁に発生する方法論的な問題を強調し、アルゴリズムの選択アプローチを評価するときに対処する必要があります。
まず、「休暇中に」評価手法で欠陥を特定します。
非情報機能とメタモデルが高精度を達成できることを示しますが、これは、適切に設計された評価フレームワークに当てはまるべきではありません。
第二に、目的関数のスケールに敏感なメトリックを使用した最適化アルゴリズムのパフォーマンスを測定するには、これがメタモデルの構築、その予測、およびモデルのエラーにどのように影響するかを慎重に検討する必要があることを実証します。
このようなメトリックは、メタモデルの過度に楽観的なパフォーマンス評価を誤って提示することができます。
この論文は、緩やかに定義された方法論が研究者を誤解させ、努力をそらすことができ、騒音を導入することができるため、慎重な評価の重要性を強調しています。

要約(オリジナル)

Algorithm selection, aiming to identify the best algorithm for a given problem, plays a pivotal role in continuous black-box optimization. A common approach involves representing optimization functions using a set of features, which are then used to train a machine learning meta-model for selecting suitable algorithms. Various approaches have demonstrated the effectiveness of these algorithm selection meta-models. However, not all evaluation approaches are equally valid for assessing the performance of meta-models. We highlight methodological issues that frequently occur in the community and should be addressed when evaluating algorithm selection approaches. First, we identify flaws with the ‘leave-instance-out’ evaluation technique. We show that non-informative features and meta-models can achieve high accuracy, which should not be the case with a well-designed evaluation framework. Second, we demonstrate that measuring the performance of optimization algorithms with metrics sensitive to the scale of the objective function requires careful consideration of how this impacts the construction of the meta-model, its predictions, and the model’s error. Such metrics can falsely present overly optimistic performance assessments of the meta-models. This paper emphasizes the importance of careful evaluation, as loosely defined methodologies can mislead researchers, divert efforts, and introduce noise into the field

arxiv情報

提供元, 利用サービス

arxiv.jp, Google