Quantum Algorithms for the Pathwise Lasso

要約

我々は、古典的な LARS (最小角度回帰) 経路アルゴリズムに基づいた $\ell_1$ ペナルティを備えた新しい量子高次元線形回帰アルゴリズムを提案します。
Lasso で利用可能な古典的な数値アルゴリズムと同様に、私たちの量子アルゴリズムは、ペナルティ項の変化に応じて完全な正則化パスを提供しますが、特定の条件下では反復ごとに二次関数的に高速になります。
特徴量/予測子 $d$ の数の 2 次高速化は、D\’urr と Hoyer (arXiv’96) の単純な量子最小値検出サブルーチンを使用して、各反復で結合時間を取得することで可能です。
次に、この単純な量子アルゴリズムを改良し、Chen と de Wolf による最近の近似量子最小値検出サブルーチン (ICALP’23) を使用して、特徴の数 $d$ と観測の数 $n$ の両方で 2 次の高速化を実現します。
。
私たちの主な貢献の 1 つとして、量子振幅推定に基づいて量子ユニタリーを構築し、近似的な量子最小値の発見によって検索される結合時間を近似的に計算します。
結合時間が正確に計算されなくなったため、結果として得られる近似量子アルゴリズムで適切な解が得られるかどうかは明らかではありません。
私たちの 2 番目の主な貢献として、KKT 条件の近似バージョンと双対性ギャップを通じて、LARS アルゴリズム (したがって私たちの量子アルゴリズム) がエラーに対して堅牢であることを証明しました。
これは、結合時間が近似的にのみ計算された場合でも、小さな誤差まで Lasso コスト関数を最小化するパスを出力することを意味します。
最後に、未知の係数ベクトルを含む基礎となる線形モデルによって観測値が生成されるモデルにおいて、未知の係数ベクトルと近似 Lasso 解の差の限界を証明します。これは、古典的な統計学習理論における収束率に関する既知の結果を一般化します。
分析。

要約(オリジナル)

We present a novel quantum high-dimensional linear regression algorithm with an $\ell_1$-penalty based on the classical LARS (Least Angle Regression) pathwise algorithm. Similarly to available classical numerical algorithms for Lasso, our quantum algorithm provides the full regularisation path as the penalty term varies, but quadratically faster per iteration under specific conditions. A quadratic speedup on the number of features/predictors $d$ is possible by using the simple quantum minimum-finding subroutine from D\’urr and Hoyer (arXiv’96) in order to obtain the joining time at each iteration. We then improve upon this simple quantum algorithm and obtain a quadratic speedup both in the number of features $d$ and the number of observations $n$ by using the recent approximate quantum minimum-finding subroutine from Chen and de Wolf (ICALP’23). As one of our main contributions, we construct a quantum unitary based on quantum amplitude estimation to approximately compute the joining times to be searched over by the approximate quantum minimum finding. Since the joining times are no longer exactly computed, it is no longer clear that the resulting approximate quantum algorithm obtains a good solution. As our second main contribution, we prove, via an approximate version of the KKT conditions and a duality gap, that the LARS algorithm (and therefore our quantum algorithm) is robust to errors. This means that it still outputs a path that minimises the Lasso cost function up to a small error if the joining times are only approximately computed. Finally, in the model where the observations are generated by an underlying linear model with an unknown coefficient vector, we prove bounds on the difference between the unknown coefficient vector and the approximate Lasso solution, which generalises known results about convergence rates in classical statistical learning theory analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google