Differentiable Quantum Architecture Search in Asynchronous Quantum Reinforcement Learning

要約

量子強化学習 (QRL) の出現は、特に変分量子回路 (VQC) 上に構築された量子ニューラル ネットワーク (QNN) による、量子コンピューティング (QC) と機械学習 (ML) の進歩によって推進されています。
これらの進歩は、一連の意思決定タスクに対処する上で成功していることが証明されています。
ただし、データのエンコードやパラメータ化された回路など、モデルのパフォーマンスに大きく影響する量子回路アーキテクチャの設計における課題のため、効果的な QRL モデルの構築には多大な専門知識が必要です。
この論文では、微分可能量子アーキテクチャ検索 (DiffQAS) を使用してこの課題に対処し、勾配ベースの最適化を使用してトレーニング可能な回路パラメータと構造の重みを可能にすることを提案します。
さらに、並列トレーニングを容易にする非同期強化学習 (RL) 手法を通じてトレーニング効率を向上させます。
数値シミュレーションを通じて、私たちが提案する DiffQAS-QRL アプローチが、考慮された環境全体で手動で作成された回路アーキテクチャに匹敵するパフォーマンスを達成し、さまざまなシナリオ全体での安定性を示していることを実証します。
この方法論は、広範な量子知識がなくても QRL モデルを設計するための道を提供し、堅牢なパフォーマンスを確保し、QRL のより広範なアプリケーションを促進します。

要約(オリジナル)

The emergence of quantum reinforcement learning (QRL) is propelled by advancements in quantum computing (QC) and machine learning (ML), particularly through quantum neural networks (QNN) built on variational quantum circuits (VQC). These advancements have proven successful in addressing sequential decision-making tasks. However, constructing effective QRL models demands significant expertise due to challenges in designing quantum circuit architectures, including data encoding and parameterized circuits, which profoundly influence model performance. In this paper, we propose addressing this challenge with differentiable quantum architecture search (DiffQAS), enabling trainable circuit parameters and structure weights using gradient-based optimization. Furthermore, we enhance training efficiency through asynchronous reinforcement learning (RL) methods facilitating parallel training. Through numerical simulations, we demonstrate that our proposed DiffQAS-QRL approach achieves performance comparable to manually-crafted circuit architectures across considered environments, showcasing stability across diverse scenarios. This methodology offers a pathway for designing QRL models without extensive quantum knowledge, ensuring robust performance and fostering broader application of QRL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google