Diffusion Models for Black-Box Optimization

要約

オフライン ブラック ボックス最適化 (BBO) の目標は、関数評価の固定データセットを使用して高価なブラック ボックス関数を最適化することです。
これまでの研究では、ブラック ボックス関数のサロゲートを学習する順方向アプローチと、関数値をブラック ボックス関数の入力領域内の対応する点に直接マッピングする逆方向アプローチが検討されていました。
これらのアプローチは、オフライン データセットの品質と、高次元で 1 対多のマッピングを学習する難しさによってそれぞれ制限されます。
私たちは、拡散モデルに基づいたオフライン ブラック ボックス最適化のための新しい逆アプローチであるノイズ除去拡散最適化モデル (DDOM) を提案します。
オフライン データセットが与えられると、DDOM は、関数値に条件付けされたブラック ボックス関数の領域にわたって条件付き生成モデルを学習します。
DDOM におけるいくつかの設計上の選択肢を調査します。たとえば、高い関数値に焦点を当ててデータセットを再重み付けすることや、データセットの最大値を超える可能性のある関数値への一般化を可能にするテスト時の分類子なしのガイダンスの使用などです。
経験的に、私たちはデザインベンチベンチマークで実験を実施し、DDOM が最先端のベースラインと競合する結果を達成することを示しました。

要約(オリジナル)

The goal of offline black-box optimization (BBO) is to optimize an expensive black-box function using a fixed dataset of function evaluations. Prior works consider forward approaches that learn surrogates to the black-box function and inverse approaches that directly map function values to corresponding points in the input domain of the black-box function. These approaches are limited by the quality of the offline dataset and the difficulty in learning one-to-many mappings in high dimensions, respectively. We propose Denoising Diffusion Optimization Models (DDOM), a new inverse approach for offline black-box optimization based on diffusion models. Given an offline dataset, DDOM learns a conditional generative model over the domain of the black-box function conditioned on the function values. We investigate several design choices in DDOM, such as re-weighting the dataset to focus on high function values and the use of classifier-free guidance at test-time to enable generalization to function values that can even exceed the dataset maxima. Empirically, we conduct experiments on the Design-Bench benchmark and show that DDOM achieves results competitive with state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google