Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems

要約

最近の多くの研究では、特に単一目的の連続最適化問題を数値的に特徴付ける探索的ランドスケープ分析 (ELA) 機能の可能性が実証されています。
これらの数値特徴は、高レベルのプロパティ予測から自動アルゴリズム選択および自動アルゴリズム構成に至るまで、継続的最適化問題に関するあらゆる種類の機械学習タスクへの入力を提供します。
ELA 機能がなければ、単一目的の連続最適化問題の特性を分析して理解することは不可能になります。
しかし、ELA 機能には議論の余地のない有用性があるにもかかわらず、いくつかの欠点があります。
これらには、特に、(1.) 複数の機能間の強い相関関係、および (2.) 多目的連続最適化問題への非常に限られた適用可能性が含まれます。
改善策として、最近の研究では、ELA の代替として深層学習ベースのアプローチが提案されています。
これらの研究では、たとえば、最適化問題の適応度ランドスケープを特徴付けるために点群変換器が使用されました。
ただし、これらのアプローチには大量のラベル付きトレーニング データが必要です。
この取り組みの中で、私たちはディープラーニングとELAの機能（の利点）を組み合わせたハイブリッドアプローチであるDeep-ELAを提案します。
具体的には、ランダムに生成された何百万もの最適化問題で 4 つのトランスフォーマーを事前トレーニングし、連続する単一および複数の目的の最適化問題の状況の詳細な表現を学習しました。
私たちが提案するフレームワークは、単一目的および複数目的の連続最適化問題の分析にそのまま使用することも、その後アルゴリズムの動作や問題の理解に焦点を当てたさまざまなタスクに合わせて微調整することもできます。

要約(オリジナル)

In many recent works, the potential of Exploratory Landscape Analysis (ELA) features to numerically characterize, in particular, single-objective continuous optimization problems has been demonstrated. These numerical features provide the input for all kinds of machine learning tasks on continuous optimization problems, ranging, i.a., from High-level Property Prediction to Automated Algorithm Selection and Automated Algorithm Configuration. Without ELA features, analyzing and understanding the characteristics of single-objective continuous optimization problems would be impossible. Yet, despite their undisputed usefulness, ELA features suffer from several drawbacks. These include, in particular, (1.) a strong correlation between multiple features, as well as (2.) its very limited applicability to multi-objective continuous optimization problems. As a remedy, recent works proposed deep learning-based approaches as alternatives to ELA. In these works, e.g., point-cloud transformers were used to characterize an optimization problem’s fitness landscape. However, these approaches require a large amount of labeled training data. Within this work, we propose a hybrid approach, Deep-ELA, which combines (the benefits of) deep learning and ELA features. Specifically, we pre-trained four transformers on millions of randomly generated optimization problems to learn deep representations of the landscapes of continuous single- and multi-objective optimization problems. Our proposed framework can either be used out-of-the-box for analyzing single- and multi-objective continuous optimization problems, or subsequently fine-tuned to various tasks focussing on algorithm behavior and problem understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google