Update Monte Carlo tree search (UMCTS) algorithm for heuristic global search of sizing optimization problems for truss structures

要約

トラス構造のサイジングの最適化は複雑な計算問題であり、強化学習 (RL) は勾配計算を行わずにマルチモーダルな問題を扱うのに適しています。
この論文では、トラス構造の適切な設計を取得するために、更新モンテカルロ木探索 (UMCTS) と呼ばれる新しい効率的な最適化アルゴリズムを開発します。
UMCTS は、新しい更新プロセスと、信頼限界 (UCB) を備えたモンテカルロ ツリー検索 (MCTS) を組み合わせた RL ベースの手法です。
更新プロセスとは、各ラウンドで各部材の最適な断面積が探索ツリーによって決定され、その初期状態が前のラウンドの最終状態であることを意味します。
UMCTS アルゴリズムでは、計算時間を短縮するために、メンバー領域の選択数と反復回数のアクセラレータが導入されています。
さらに、状態ごとに、平均報酬がシミュレーション プロセスで収集された最高の報酬に置き換えられ、最適なソリューションが決定されます。
提案された最適化手法は、効率と妥当性を実証するために、離散的なサイズ変数を使用した平面および空間トラスのいくつかのベンチマーク問題で検証されます。
提案されたアプローチの計算時間は、分岐限定 (BB) 法より少なくとも 10 倍高速であることが示されています。
数値結果は、提案手法が他の従来手法よりも安定して優れた解を達成することを示しています。

要約(オリジナル)

Sizing optimization of truss structures is a complex computational problem, and the reinforcement learning (RL) is suitable for dealing with multimodal problems without gradient computations. In this paper, a new efficient optimization algorithm called update Monte Carlo tree search (UMCTS) is developed to obtain the appropriate design for truss structures. UMCTS is an RL-based method that combines the novel update process and Monte Carlo tree search (MCTS) with the upper confidence bound (UCB). Update process means that in each round, the optimal cross-sectional area of each member is determined by search tree, and its initial state is the final state in the previous round. In the UMCTS algorithm, an accelerator for the number of selections for member area and iteration number is introduced to reduce the computation time. Moreover, for each state, the average reward is replaced by the best reward collected on the simulation process to determine the optimal solution. The proposed optimization method is examined on some benchmark problems of planar and spatial trusses with discrete sizing variables to demonstrate the efficiency and validity. It is shown that the computation time for the proposed approach is at least ten times faster than the branch and bound (BB) method. The numerical results indicate that the proposed method stably achieves better solution than other conventional methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google