Sample-efficient Model-based Reinforcement Learning for Quantum Control

要約

タイトル：量子制御のための効率的なモデルベース強化学習

要約：本論文では、モデルフリー強化学習よりも改善されたサンプル複雑度を持つ、ノイズのある時変ゲート最適化のためのモデルベース強化学習のアプローチを提案する。サンプル複雑度は、物理系との制御器間の相互作用の数である。ニューラル常微分方程式の最近の進展にインスパイアされた帰納的なバイアスを利用して、完全に知られている制御を含む環境のモデルを表す学習可能なハミルトニアンアンサッツによる自動微分可能な常微分方程式を使用する。制御と連続時間独立パラメータのハミルトニアン学習は、システムとの相互作用を通じてアドレスされる。一定の閉じた系と開いた系ダイナミクスを持ついくつかの標準的なユニタリーゲートの準備において、単一ショット測定、任意のヒルベルト空間切り捨て、ハミルトニアンパラメータの不確実性を組み込んだ現実的な数値実験で、本研究のサンプル複雑度のオーダーの差を示す。また、RLによって見つかった制御器の初期値として、既存の制御手法であるGRAPEで学習されたハミルトニアンを活用することができる。本論文で適用するアルゴリズムは、NVセンターやトランスモンなどの一部が特性化された1量子ビットおよび2量子ビットシステムを制御するために適している。

要約(オリジナル)

We propose a model-based reinforcement learning (RL) approach for noisy time-dependent gate optimization with improved sample complexity over model-free RL. Sample complexity is the number of controller interactions with the physical system. Leveraging an inductive bias, inspired by recent advances in neural ordinary differential equations (ODEs), we use an auto-differentiable ODE parametrised by a learnable Hamiltonian ansatz to represent the model approximating the environment whose time-dependent part, including the control, is fully known. Control alongside Hamiltonian learning of continuous time-independent parameters is addressed through interactions with the system. We demonstrate an order of magnitude advantage in the sample complexity of our method over standard model-free RL in preparing some standard unitary gates with closed and open system dynamics, in realistic numerical experiments incorporating single shot measurements, arbitrary Hilbert space truncations and uncertainty in Hamiltonian parameters. Also, the learned Hamiltonian can be leveraged by existing control methods like GRAPE for further gradient-based optimization with the controllers found by RL as initializations. Our algorithm that we apply on nitrogen vacancy (NV) centers and transmons in this paper is well suited for controlling partially characterised one and two qubit systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI