Multi-Agent Reinforcement Learning for Adaptive Mesh Refinement

要約

アダプティブ メッシュ リファインメント (AMR) は、複雑な物理現象の効率的な有限要素シミュレーションに必要です。これは、空間と時間によって変化する高解像度または低解像度の必要性に基づいて限られた計算予算を割り当てるためです。
AMR の新しい定式化を完全に協力的なマルコフ ゲームとして提示します。このゲームでは、各要素がローカル情報に基づいて洗練と非洗練の選択を行う独立したエージェントです。
Value Decomposition Graph Network (VDGN) と呼ばれる新しいディープ マルチエージェント強化学習 (MARL) アルゴリズムを設計します。これは、AMR が MARL にもたらす 2 つの主要な課題である、エージェントの作成と削除による死後のクレジットの割り当てと、
メッシュ形状の多様性。
初めて、MARL が将来複雑な機能に遭遇する領域の予測的改良を可能にし、それによってローカル エラー推定量に基づく従来の方法ではアクセスできないエラー コスト目標ランドスケープのまったく新しい領域を解き放つことを示します。
包括的な実験により、VDGN ポリシーは、グローバル エラーおよびコスト メトリックにおいて、エラーしきい値ベースのポリシーよりも大幅に優れていることが示されています。
学習したポリシーは、トレーニングでは見られなかった物理的特徴、メッシュ ジオメトリ、およびより長いシミュレーション時間の問題をテストするために一般化されることを示します。
また、多目的最適化機能を使用して VDGN を拡張し、コストとエラーの間のトレードオフのパレート フロントを見つけます。

要約(オリジナル)

Adaptive mesh refinement (AMR) is necessary for efficient finite element simulations of complex physical phenomenon, as it allocates limited computational budget based on the need for higher or lower resolution, which varies over space and time. We present a novel formulation of AMR as a fully-cooperative Markov game, in which each element is an independent agent who makes refinement and de-refinement choices based on local information. We design a novel deep multi-agent reinforcement learning (MARL) algorithm called Value Decomposition Graph Network (VDGN), which solves the two core challenges that AMR poses for MARL: posthumous credit assignment due to agent creation and deletion, and unstructured observations due to the diversity of mesh geometries. For the first time, we show that MARL enables anticipatory refinement of regions that will encounter complex features at future times, thereby unlocking entirely new regions of the error-cost objective landscape that are inaccessible by traditional methods based on local error estimators. Comprehensive experiments show that VDGN policies significantly outperform error threshold-based policies in global error and cost metrics. We show that learned policies generalize to test problems with physical features, mesh geometries, and longer simulation times that were not seen in training. We also extend VDGN with multi-objective optimization capabilities to find the Pareto front of the tradeoff between cost and error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google