Architectural Influence on Variational Quantum Circuits in Multi-Agent Reinforcement Learning: Evolutionary Strategies for Optimization

要約

近年、マルチエージェント強化学習 (MARL) は、自動運転、電気通信、世界保健など、科学や産業の多くの分野で応用されています。
それにもかかわらず、MARL は、たとえば寸法の指数関数的な増加に悩まされています。
量子力学の固有の特性は、たとえばトレーニング可能なパラメーターの数を大幅に減らすことによって、これらの制限を克服するのに役立ちます。
これまでの研究では、勾配のない量子強化学習と変分量子回路 (VQC) の進化的最適化を使用して、トレーニング可能なパラメーターを減らし、不毛なプラトーや勾配の消失を回避するアプローチが開発されました。
これにより、トレーニング可能なパラメータが同数の従来のニューラル ネットワークと比較して VQC のパフォーマンスが大幅に向上し、同様に優れたニューラル ネットワークと比較してパラメータの数が 97 \% 以上削減されます。
K\’olle らのアプローチを拡張します。
VQC を突然変異させて再結合するためのゲートベース、レイヤーベース、およびプロトタイプベースの概念を提案することによって。
私たちの結果は、ミューテーションのみの戦略とゲートベースのアプローチで最高のパフォーマンスが得られることを示しています。
特に、コイン ゲーム環境で評価した場合、最高のエージェントのスコアが大幅に向上し、合計コインと自分で収集したコインが高く、自分のコイン レートも優れていることが観察されました。

要約(オリジナル)

In recent years, Multi-Agent Reinforcement Learning (MARL) has found application in numerous areas of science and industry, such as autonomous driving, telecommunications, and global health. Nevertheless, MARL suffers from, for instance, an exponential growth of dimensions. Inherent properties of quantum mechanics help to overcome these limitations, e.g., by significantly reducing the number of trainable parameters. Previous studies have developed an approach that uses gradient-free quantum Reinforcement Learning and evolutionary optimization for variational quantum circuits (VQCs) to reduce the trainable parameters and avoid barren plateaus as well as vanishing gradients. This leads to a significantly better performance of VQCs compared to classical neural networks with a similar number of trainable parameters and a reduction in the number of parameters by more than 97 \% compared to similarly good neural networks. We extend an approach of K\’olle et al. by proposing a Gate-Based, a Layer-Based, and a Prototype-Based concept to mutate and recombine VQCs. Our results show the best performance for mutation-only strategies and the Gate-Based approach. In particular, we observe a significantly better score, higher total and own collected coins, as well as a superior own coin rate for the best agent when evaluated in the Coin Game environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google