Derivative-free tree optimization for complex systems

要約

材料、物理学、生物学における膨大な範囲の設計タスクは、閉形式や導関数を知らずに、多くのパラメーターに応じて目的関数の最適値を見つけることとして定式化できます。
従来の導関数を使用しない最適化手法は、目的関数に関する強い仮定に依存することが多く、そのため 100 次元を超える非凸システムの最適化に失敗します。
ここでは、高次元の複雑なシステムの最適設計を高速化する導関数なしの最適化のためのツリー探索手法を紹介します。
具体的には、局所最適を回避するための確率的ツリー展開、動的な信頼限界、および短距離逆伝播メカニズムを導入し、機械学習モデルを使用して大域最適を反復的に近似します。
この開発は、次元的に困難な問題に効果的に対処し、最大 2,000 次元までのさまざまなベンチマーク関数にわたって大域最適への収束を達成し、既存の手法を 10 ～ 20 倍上回ります。
私たちの手法は、材料、物理学、生物学にわたる現実世界のさまざまな複雑なシステムに幅広く適用可能であり、最先端のアルゴリズムを大幅に上回ります。
これにより、効率的な自律的な知識発見が可能になり、自動運転の仮想ラボが容易になります。
私たちは自然科学の領域内の問題に焦点を当てていますが、ここで達成された最適化技術の進歩は、すべての定量的分野にわたるより広範な課題に適用できます。

要約(オリジナル)

A tremendous range of design tasks in materials, physics, and biology can be formulated as finding the optimum of an objective function depending on many parameters without knowing its closed-form expression or the derivative. Traditional derivative-free optimization techniques often rely on strong assumptions about objective functions, thereby failing at optimizing non-convex systems beyond 100 dimensions. Here, we present a tree search method for derivative-free optimization that enables accelerated optimal design of high-dimensional complex systems. Specifically, we introduce stochastic tree expansion, dynamic upper confidence bound, and short-range backpropagation mechanism to evade local optimum, iteratively approximating the global optimum using machine learning models. This development effectively confronts the dimensionally challenging problems, achieving convergence to global optima across various benchmark functions up to 2,000 dimensions, surpassing the existing methods by 10- to 20-fold. Our method demonstrates wide applicability to a wide range of real-world complex systems spanning materials, physics, and biology, considerably outperforming state-of-the-art algorithms. This enables efficient autonomous knowledge discovery and facilitates self-driving virtual laboratories. Although we focus on problems within the realm of natural science, the advancements in optimization techniques achieved herein are applicable to a broader spectrum of challenges across all quantitative disciplines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google