Towards practical reinforcement learning for tokamak magnetic control

要約

強化学習 (RL) は、プラズマ磁気制御の領域を含むリアルタイム制御システムにおいて有望な結果を示しています。
しかし、磁気閉じ込めに対する従来のフィードバック制御アプローチと比較すると、依然として重大な欠点が存在します。
この研究では、RL 法の主な欠点に対処します。
望ましいプラズマ特性に対するより高い制御精度を実現し、定常状態誤差を低減し、新しいタスクの学習に必要な時間を短縮します。
私たちは \cite{degrave2022magnetic} を基盤として構築し、エージェント アーキテクチャとトレーニング手順にアルゴリズムの改善を加えています。
形状精度が最大 65% 向上し、プラズマ電流の長期バイアスが大幅に減少し、さらに新しいタスクの学習に必要なトレーニング時間が 3 分の 1 以上短縮されたことを示すシミュレーション結果を示します。
我々は、TCV トカマク上のアップグレードされた RL ベースのコントローラーを使用した新しい実験を紹介します。これは、達成されたシミュレーション結果を検証し、RL アプローチを使用して正確な放電を日常的に達成するための道を示します。

要約(オリジナル)

Reinforcement learning (RL) has shown promising results for real-time control systems, including the domain of plasma magnetic control. However, there are still significant drawbacks compared to traditional feedback control approaches for magnetic confinement. In this work, we address key drawbacks of the RL method; achieving higher control accuracy for desired plasma properties, reducing the steady-state error, and decreasing the required time to learn new tasks. We build on top of \cite{degrave2022magnetic}, and present algorithmic improvements to the agent architecture and training procedure. We present simulation results that show up to 65\% improvement in shape accuracy, achieve substantial reduction in the long-term bias of the plasma current, and additionally reduce the training time required to learn new tasks by a factor of 3 or more. We present new experiments using the upgraded RL-based controllers on the TCV tokamak, which validate the simulation results achieved, and point the way towards routinely achieving accurate discharges using the RL approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google