Gradient-Informed Quality Diversity for the Illumination of Discrete Spaces

要約

品質ダイバーシティ (QD) アルゴリズムは、単一セットの局所最適化ではなく、多様で高性能なソリューションの両方の大規模なコレクションを検索するために提案されています。
初期の QD アルゴリズムは目的関数と記述子関数をブラックボックス関数と見なしますが、勾配情報を使用して検索を高速化し、連続入力空間におけるこれらのアルゴリズムの全体的なパフォーマンスを向上させる新しいツールが導入されました。
ただし、創薬や画像生成など、広範囲のアプリケーションには離散空間が含まれます。
これらの空間は組み合わせ的に大きく、連続した空間と同じようにグラデーションを使用できないため、探索するのは困難です。
離散探索空間にわたる微分可能関数を使用して QD 最適化を拡張する、Gradient-Informed Discrete Emitter (ME-GIDE) を備えたマップエリートを導入します。
ME-GIDE は、離散入力に関する目的関数と記述子関数の勾配情報を活用して、多様な高品質ソリューションのセットに向けた検索を導く勾配情報に基づいた更新を提案します。
私たちは、タンパク質設計や離散潜在空間照明などの困難なベンチマークで私たちの手法を評価し、すべてのベンチマークで私たちの手法が最先端の QD アルゴリズムよりも優れていることを発見しました。

要約(オリジナル)

Quality Diversity (QD) algorithms have been proposed to search for a large collection of both diverse and high-performing solutions instead of a single set of local optima. While early QD algorithms view the objective and descriptor functions as black-box functions, novel tools have been introduced to use gradient information to accelerate the search and improve overall performance of those algorithms over continuous input spaces. However a broad range of applications involve discrete spaces, such as drug discovery or image generation. Exploring those spaces is challenging as they are combinatorially large and gradients cannot be used in the same manner as in continuous spaces. We introduce map-elites with a Gradient-Informed Discrete Emitter (ME-GIDE), which extends QD optimisation with differentiable functions over discrete search spaces. ME-GIDE leverages the gradient information of the objective and descriptor functions with respect to its discrete inputs to propose gradient-informed updates that guide the search towards a diverse set of high quality solutions. We evaluate our method on challenging benchmarks including protein design and discrete latent space illumination and find that our method outperforms state-of-the-art QD algorithms in all benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google