Towards provably efficient quantum algorithms for large-scale machine-learning models

要約

タイトル: 大規模機械学習モデルに対する証明可能な効率的な量子アルゴリズムに向けて

要約:
– 大規模機械学習モデルは、事前トレーニングと微調整プロセスでの計算負荷、電力、時間の使用の大幅なバランスを示す人工知能の革命的な技術です。
– 本研究では、耐故障性のある量子コンピューティングが、一般的な（確率的）勾配降下アルゴリズムに対して効率的かつ証明可能な解決法を提供できる可能性があることを示しています。
– 模型が十分に消散的であり、スパースで、小さな学習率を有している限り、本研究は$ \mathcal {O}（T ^ 2 \times \text {polylog}（n））$とスケールすることができます。この中のnはモデルのサイズを示しTはトレーニング中の反復回数です。
– 本研究は、(確率的)勾配降下が主要な機械学習アルゴリズムであるため、消散性のある微分方程式の効率的な量子アルゴリズムをもとに、同様のアルゴリズムが動作することを見出し、証明しています。
– 実践的には、700万から1,030万パラメーターの大規模な機械学習モデルのインスタンスを測定し、スパーストレーニングの文脈で、モデルの剪定後の早い学習段階で量子の強化が可能であることが分かりました。
– 本研究により、耐故障性のある量子アルゴリズムが、最先端の大規模機械学習問題に潜在的に貢献できることが明確に示されています。

要約(オリジナル)

Large machine learning models are revolutionary technologies of artificial intelligence whose bottlenecks include huge computational expenses, power, and time used both in the pre-training and fine-tuning process. In this work, we show that fault-tolerant quantum computing could possibly provide provably efficient resolutions for generic (stochastic) gradient descent algorithms, scaling as $\mathcal{O}(T^2 \times \text{polylog}(n))$, where $n$ is the size of the models and $T$ is the number of iterations in the training, as long as the models are both sufficiently dissipative and sparse, with small learning rates. Based on earlier efficient quantum algorithms for dissipative differential equations, we find and prove that similar algorithms work for (stochastic) gradient descent, the primary algorithm for machine learning. In practice, we benchmark instances of large machine learning models from 7 million to 103 million parameters. We find that, in the context of sparse training, a quantum enhancement is possible at the early stage of learning after model pruning, motivating a sparse parameter download and re-upload scheme. Our work shows solidly that fault-tolerant quantum algorithms could potentially contribute to most state-of-the-art, large-scale machine-learning problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI