Multi-Agent Quantum Reinforcement Learning using Evolutionary Optimization

要約

マルチエージェント強化学習は、自動運転やその他のスマート産業アプリケーションの時代において、ますます重要になっています。
同時に、量子力学の固有の特性を使用した強化学習への有望な新しいアプローチが生まれ、モデルのトレーニング可能なパラメーターが大幅に減少します。
ただし、勾配ベースのマルチエージェント量子強化学習手法は、多くの場合不毛なプラトーと格闘しなければならず、古典的なアプローチのパフォーマンスに匹敵することが妨げられます。
私たちは、勾配なしの量子強化学習のための既存のアプローチを構築し、進化的最適化を使用したマルチエージェント強化学習のための変分量子回路を備えた 3 つの遺伝的バリエーションを提案します。
私たちはコインゲーム環境における遺伝的多様性を評価し、それらを古典的なアプローチと比較します。
私たちは、変分量子回路アプローチが、同量の訓練可能なパラメーターを持つニューラル ネットワークと比較して、大幅に優れたパフォーマンスを発揮することを示しました。
大規模なニューラル ネットワークと比較して、私たちのアプローチは $97.88\%$ 少ないパラメーターを使用して同様の結果をアーカイブします。

要約(オリジナル)

Multi-Agent Reinforcement Learning is becoming increasingly more important in times of autonomous driving and other smart industrial applications. Simultaneously a promising new approach to Reinforcement Learning arises using the inherent properties of quantum mechanics, reducing the trainable parameters of a model significantly. However, gradient-based Multi-Agent Quantum Reinforcement Learning methods often have to struggle with barren plateaus, holding them back from matching the performance of classical approaches. We build upon an existing approach for gradient free Quantum Reinforcement Learning and propose three genetic variations with Variational Quantum Circuits for Multi-Agent Reinforcement Learning using evolutionary optimization. We evaluate our genetic variations in the Coin Game environment and also compare them to classical approaches. We showed that our Variational Quantum Circuit approaches perform significantly better compared to a neural network with a similar amount of trainable parameters. Compared to the larger neural network, our approaches archive similar results using $97.88\%$ less parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google