Sparks of Quantum Advantage and Rapid Retraining in Machine Learning

要約

量子コンピューティングの出現は、古典的なコンピュータよりも効率的に複雑な問題を解決することで、さまざまな分野に革命を起こす可能性を秘めています。
この約束にもかかわらず、実際の量子の利点は、現在のハードウェア制限、特に量子ビット数の少なさと高いノイズ レベルによって妨げられています。
この研究では、断熱量子コンピューターを活用して、最小限のパラメーターで複雑な関数を表現するための強力なニューラル ネットワーク アーキテクチャであるコルモゴロフ-アーノルド ネットワークを最適化します。
基底関数としてベジェ曲線を使用するようにネットワークを変更し、最適化問題を 2 次無制約バイナリ最適化問題に定式化することで、トレーニング サンプルの数に関係なく、固定サイズの解空間を作成します。
私たちのアプローチは、Adam、確率的勾配降下法、適応勾配、シミュレーテッド アニーリングなどの古典的なオプティマイザーと比較して、より速いトレーニング時間を通じて量子の利点の火花を実証します。
さらに、新しい高速再トレーニング機能を導入し、古いサンプルを再処理することなく新しいデータでネットワークを再トレーニングできるようにし、動的環境での学習効率を向上させます。
分類タスクと回帰タスクの初期トレーニングに関する実験結果は、私たちのアプローチの有効性を検証し、大幅な高速化と従来の手法と同等のパフォーマンスを示しています。
再トレーニングの実験では、断熱量子コンピューティング ベースの最適化を使用すると、勾配降下ベースのオプティマイザーと比較して 60 倍の速度向上が実証されていますが、理論モデルを使用すると、この速度はさらに大幅に向上します。
私たちの調査結果は、量子ハードウェアとアルゴリズムの最適化がさらに進歩すれば、量子最適化された機械学習モデルが、最初は迅速な再トレーニングに焦点を当てながら、さまざまなドメインにわたって広範な応用が可能になる可能性があることを示唆しています。

要約(オリジナル)

The advent of quantum computing holds the potential to revolutionize various fields by solving complex problems more efficiently than classical computers. Despite this promise, practical quantum advantage is hindered by current hardware limitations, notably the small number of qubits and high noise levels. In this study, we leverage adiabatic quantum computers to optimize Kolmogorov-Arnold Networks, a powerful neural network architecture for representing complex functions with minimal parameters. By modifying the network to use Bezier curves as the basis functions and formulating the optimization problem into a Quadratic Unconstrained Binary Optimization problem, we create a fixed-sized solution space, independent of the number of training samples. Our approach demonstrates sparks of quantum advantage through faster training times compared to classical optimizers such as the Adam, Stochastic Gradient Descent, Adaptive Gradient, and simulated annealing. Additionally, we introduce a novel rapid retraining capability, enabling the network to be retrained with new data without reprocessing old samples, thus enhancing learning efficiency in dynamic environments. Experimental results on initial training of classification and regression tasks validate the efficacy of our approach, showcasing significant speedups and comparable performance to classical methods. While experiments on retraining demonstrate a sixty times speed up using adiabatic quantum computing based optimization compared to that of the gradient descent based optimizers, with theoretical models allowing this speed up to be even larger! Our findings suggest that with further advancements in quantum hardware and algorithm optimization, quantum-optimized machine learning models could have broad applications across various domains, with initial focus on rapid retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google