Towards provably efficient quantum algorithms for large-scale machine-learning models

要約

大規模な機械学習モデルは、人工知能の革新的なテクノロジーであり、そのボトルネックには、事前トレーニングと微調整の両方のプロセスに使用される膨大な計算コスト、電力、時間などが含まれます。
この研究では、フォールトトレラントな量子コンピューティングが、$\mathcal{O}(T^2 \times \text{polylog}(n)) のスケールで一般的な (確率的) 勾配降下法アルゴリズムに対して効率的な解決策を提供できる可能性があることを示します。
$。ここで、モデルが十分に散逸的で疎であり、学習率が小さい限り、$n$ はモデルのサイズ、$T$ はトレーニングの反復回数です。
散逸微分方程式に対する以前の効率的な量子アルゴリズムに基づいて、同様のアルゴリズムが機械学習の主要なアルゴリズムである (確率的) 勾配降下法にも機能することを発見し、証明します。
実際には、700 万から 1 億 300 万のパラメータにわたる大規模な機械学習モデルのインスタンスをベンチマークします。
スパース トレーニングのコンテキストでは、モデルの枝刈り後の学習の初期段階で量子強化が可能であり、スパース パラメーターのダウンロードおよび再アップロード スキームを動機付けることができます。
私たちの研究は、フォールトトレラントな量子アルゴリズムが最先端の大規模機械学習問題のほとんどに潜在的に寄与する可能性があることを確実に示しています。

要約(オリジナル)

Large machine learning models are revolutionary technologies of artificial intelligence whose bottlenecks include huge computational expenses, power, and time used both in the pre-training and fine-tuning process. In this work, we show that fault-tolerant quantum computing could possibly provide provably efficient resolutions for generic (stochastic) gradient descent algorithms, scaling as $\mathcal{O}(T^2 \times \text{polylog}(n))$, where $n$ is the size of the models and $T$ is the number of iterations in the training, as long as the models are both sufficiently dissipative and sparse, with small learning rates. Based on earlier efficient quantum algorithms for dissipative differential equations, we find and prove that similar algorithms work for (stochastic) gradient descent, the primary algorithm for machine learning. In practice, we benchmark instances of large machine learning models from 7 million to 103 million parameters. We find that, in the context of sparse training, a quantum enhancement is possible at the early stage of learning after model pruning, motivating a sparse parameter download and re-upload scheme. Our work shows solidly that fault-tolerant quantum algorithms could potentially contribute to most state-of-the-art, large-scale machine-learning problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google