SPGD: Steepest Perturbed Gradient Descent Optimization

要約

最適化アルゴリズムは、さまざまな科学分野や産業分野を進歩させる上で極めて重要ですが、極小値、鞍点、プラトー (平坦な領域) でのトラップなどの障害に遭遇することが多く、合理的または最適に近いソリューションへの収束が特に困難になります。
この論文では、最急摂動勾配降下法 (SPGD) を紹介します。これは、勾配降下法の原理と周期的一様摂動サンプリングを革新的に組み合わせて、これらの障害を効果的に回避し、可能な限りより良い解決策を導く新しいアルゴリズムです。
SPGD は、一連の候補解を生成し、現在の解と比較して最も急峻な損失の差を示す解を選択するように設計されています。
これは、最適化されていない極小値を回避し、複雑な最適化ランドスケープを効果的にナビゲートする可能性を大幅に高める戦略的探索メカニズムを統合することにより、従来の勾配降下法アプローチを強化します。
私たちのアプローチは、勾配降下法の有向効率を維持するだけでなく、確率的摂動の探索的利点も活用するため、多様な問題空間にわたる大域的最適値のより包括的な探索を可能にします。
NP の困難な課題である 3D コンポーネントのパッキング問題を解決する際の SPGD の有効性を実証します。
予備的な結果では、特に複雑なトポグラフィーを持つ応答曲面や多次元非凸連続最適化問題において、4 つの確立された方法に比べて大幅な改善が見られました。
確立された 2D ベンチマーク関数との比較分析は、SPGD の優れたパフォーマンスを強調し、複雑な最適化環境をナビゲートする能力を示しています。
これらの結果は、広範な最適化問題に対する多用途ツールとしての SPGD の可能性を強調しています。

要約(オリジナル)

Optimization algorithms are pivotal in advancing various scientific and industrial fields but often encounter obstacles such as trapping in local minima, saddle points, and plateaus (flat regions), which makes the convergence to reasonable or near-optimal solutions particularly challenging. This paper presents the Steepest Perturbed Gradient Descent (SPGD), a novel algorithm that innovatively combines the principles of the gradient descent method with periodic uniform perturbation sampling to effectively circumvent these impediments and lead to better solutions whenever possible. SPGD is distinctively designed to generate a set of candidate solutions and select the one exhibiting the steepest loss difference relative to the current solution. It enhances the traditional gradient descent approach by integrating a strategic exploration mechanism that significantly increases the likelihood of escaping sub-optimal local minima and navigating complex optimization landscapes effectively. Our approach not only retains the directed efficiency of gradient descent but also leverages the exploratory benefits of stochastic perturbations, thus enabling a more comprehensive search for global optima across diverse problem spaces. We demonstrate the efficacy of SPGD in solving the 3D component packing problem, an NP-hard challenge. Preliminary results show a substantial improvement over four established methods, particularly on response surfaces with complex topographies and in multidimensional non-convex continuous optimization problems. Comparative analyses with established 2D benchmark functions highlight SPGD’s superior performance, showcasing its ability to navigate complex optimization landscapes. These results emphasize SPGD’s potential as a versatile tool for a wide range of optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google