DiOpt: Self-supervised Diffusion for Constrained Optimization

要約

拡散モデルの最近の進歩は、ローカルオプティマを逃れるためのマルチモーダルサンプリング機能を活用することにより、学習ベースの最適化の有望な可能性を示しています。
ただし、多くの場合、監視されたトレーニングに依存している既存の拡散ベースの最適化アプローチには、実際のアプリケーションでしばしば必要とされる厳格な制約満足度を確保するメカニズムがありません。
結果として生じる1つの観察結果は、分布の不整合です。つまり、生成されたソリューション分布は、しばしば実行可能なドメインと小さな重複を示します。
この論文では、繰り返しの自己トレーニングを通じて、最適に近いソリューション分布を体系的に学習する新しい拡散パラダイムであるDioptを提案します。
私たちのフレームワークでは、いくつかの重要な革新を紹介します。制約されたソリューションマニホールドとのオーバーラップを最大化するために特別に設計されたターゲット分布。
制約違反と最適性のギャップの重症度に基づいて候補ソリューションを適応的に重み付けするブートストラップの自己訓練メカニズム。
トレーニングの繰り返しよりも高品質のソリューションを保持することにより、収束を加速する動的メモリバッファー。
私たちの知る限り、DioPTは、自己監視の拡散と硬い制約満足度の最初の成功した統合を表しています。
パワーグリッド制御、モーションリターゲティング、ワイヤレス割り当てなど、多様なタスクの評価は、最適性と制約満足度の両方の観点からその優位性を示しています。

要約(オリジナル)

Recent advances in diffusion models show promising potential for learning-based optimization by leveraging their multimodal sampling capability to escape local optima. However, existing diffusion-based optimization approaches, often reliant on supervised training, lacks a mechanism to ensure strict constraint satisfaction which is often required in real-world applications. One resulting observation is the distributional misalignment, i.e. the generated solution distribution often exhibits small overlap with the feasible domain. In this paper, we propose DiOpt, a novel diffusion paradigm that systematically learns near-optimal feasible solution distributions through iterative self-training. Our framework introduces several key innovations: a target distribution specifically designed to maximize overlap with the constrained solution manifold; a bootstrapped self-training mechanism that adaptively weights candidate solutions based on the severity of constraint violations and optimality gaps; and a dynamic memory buffer that accelerates convergence by retaining high-quality solutions over training iterations. To our knowledge, DiOpt represents the first successful integration of self-supervised diffusion with hard constraint satisfaction. Evaluations on diverse tasks, including power grid control, motion retargeting, wireless allocation demonstrate its superiority in terms of both optimality and constraint satisfaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google