Generative Pretraining for Black-Box Optimization

要約

科学や工学における多くの問題には、高次元空間にわたる高価なブラックボックス関数の最適化が含まれます。
このようなブラック ボックス最適化 (BBO) 問題の場合、通常、オンライン関数評価には少ない予算が想定されますが、多くの場合、事前トレーニング用に固定のオフライン データセットにアクセスできます。
従来のアプローチでは、オフライン データを利用して関数またはその逆関数を近似しようとしていますが、データ分布から遠く離れたところでは十分な精度が得られません。
私たちは、オフライン データセットを使用して新しいブラック ボックス オプティマイザーを事前トレーニングするための生成フレームワークである BONET を提案します。
BONET では、オフライン データセットから派生した固定長の軌跡で自己回帰モデルをトレーニングします。
低忠実度のサンプルから高忠実度のサンプルへの単調遷移を展開する単純なヒューリスティックを使用して、オフライン データから軌跡を合成するサンプリング戦略を設計します。
経験的に、因果的にマスクされた Transformer を使用して BONET をインスタンス化し、それをデザインベンチで評価し、平均して最先端のベースラインを上回る最高のパフォーマンスをランク付けします。

要約(オリジナル)

Many problems in science and engineering involve optimizing an expensive black-box function over a high-dimensional space. For such black-box optimization (BBO) problems, we typically assume a small budget for online function evaluations, but also often have access to a fixed, offline dataset for pretraining. Prior approaches seek to utilize the offline data to approximate the function or its inverse but are not sufficiently accurate far from the data distribution. We propose BONET, a generative framework for pretraining a novel black-box optimizer using offline datasets. In BONET, we train an autoregressive model on fixed-length trajectories derived from an offline dataset. We design a sampling strategy to synthesize trajectories from offline data using a simple heuristic of rolling out monotonic transitions from low-fidelity to high-fidelity samples. Empirically, we instantiate BONET using a causally masked Transformer and evaluate it on Design-Bench, where we rank the best on average, outperforming state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google