Heuristically Adaptive Diffusion-Model Evolutionary Strategy

要約

拡散モデルは生成モデリングの大幅な進歩を表しており、最初にガウス ノイズによってドメイン固有の情報を劣化させ、トレーニング可能なモデルを通じてそれを復元するデュアルフェーズ プロセスを採用しています。
このフレームワークにより、純粋なノイズからデータへの生成と、画像またはビデオのモジュール式再構築が可能になります。
同時に、進化的アルゴリズムは、生物学的原理にヒントを得た最適化手法を採用して、潜在的な解をコード化した一連の数値パラメータを厳しい目的関数に洗練します。
私たちの研究は、拡散モデルと進化アルゴリズムの共通の基礎的な生成メカニズムを介した基本的な関係を明らかにしています。どちらの方法も、ランダムな初期分布の反復改良を通じて高品質のサンプルを生成します。
ディープラーニングベースの拡散モデルを多様な進化タスクにわたる生成モデルとして採用し、ヒューリスティックに取得したデータベースで拡散モデルを繰り返し改良することにより、より良く適応する可能性のある子孫パラメータを繰り返しサンプリングし、それらを拡散モデルの連続世代に統合することができます。
このアプローチは、探索的な多様性を維持しながら、高適合度パラメーターに向けた効率的な収束を実現します。
拡散モデルは、進化的アルゴリズムに強化されたメモリ機能を導入し、世代を超えて履歴情報を保持し、微妙なデータの相関関係を活用して洗練されたサンプルを生成します。
私たちは、進化的アルゴリズムを浅いヒューリスティックな手順から深いメモリを備えたフレームワークに昇格させます。
パラメーターレベルでの条件付きサンプリングに分類子を使用しないガイダンスを導入することで、さらに特定の遺伝子型、表現型、または集団全体の形質に対する進化検索ダイナミクスの正確な制御を実現します。
私たちのフレームワークは、ヒューリスティックおよびアルゴリズムの大きな移行を示し、進化的最適化プロセスにおける柔軟性、精度、制御の向上を実現します。

要約(オリジナル)

Diffusion Models represent a significant advancement in generative modeling, employing a dual-phase process that first degrades domain-specific information via Gaussian noise and restores it through a trainable model. This framework enables pure noise-to-data generation and modular reconstruction of, images or videos. Concurrently, evolutionary algorithms employ optimization methods inspired by biological principles to refine sets of numerical parameters encoding potential solutions to rugged objective functions. Our research reveals a fundamental connection between diffusion models and evolutionary algorithms through their shared underlying generative mechanisms: both methods generate high-quality samples via iterative refinement on random initial distributions. By employing deep learning-based diffusion models as generative models across diverse evolutionary tasks and iteratively refining diffusion models with heuristically acquired databases, we can iteratively sample potentially better-adapted offspring parameters, integrating them into successive generations of the diffusion model. This approach achieves efficient convergence toward high-fitness parameters while maintaining explorative diversity. Diffusion models introduce enhanced memory capabilities into evolutionary algorithms, retaining historical information across generations and leveraging subtle data correlations to generate refined samples. We elevate evolutionary algorithms from procedures with shallow heuristics to frameworks with deep memory. By deploying classifier-free guidance for conditional sampling at the parameter level, we achieve precise control over evolutionary search dynamics to further specific genotypical, phenotypical, or population-wide traits. Our framework marks a major heuristic and algorithmic transition, offering increased flexibility, precision, and control in evolutionary optimization processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google