From $O(\sqrt{n})$ to $O(\log(n))$ in Quadratic Programming

要約

数値最適化理論には数十年にわたって「暗雲」が漂っています。つまり、最適化アルゴリズム $O(\log(n))$ の反復計算量が存在するかどうかです。
この論文は、新しい最適化アルゴリズムと厳密な理論の証明によって「はい」と答えます。
これはボックス制約二次計画法 (Box-QP) から始まり、多くの実際的な最適化問題が Box-QP に分類されます。
一般的な滑らかな二次計画法 (QP)、非滑らかな Lasso、およびサポート ベクター マシン (または回帰) は、双対性理論を介して Box-QP として再定式化できます。
$O(\log(n))$ 反復計算量 QP アルゴリズム、特に「直接」メソッドのように動作するアルゴリズムを初めて提示しました。必要な反復回数は正確な値 $\left\lceil で決定的です。
\log\left(\frac{3.125n}{\epsilon}\right)/\log(1.5625)\right\rceil$。
この大きな進歩により、$O(\sqrt{n})$ から $O(\log(n))$ 最適化アルゴリズムへの移行が可能になります。その驚くべきスケーラビリティは、今日のビッグデータと人工知能の時代に特に関連しています。

要約(オリジナル)

A ‘dark cloud’ hangs over numerical optimization theory for decades, namely, whether an optimization algorithm $O(\log(n))$ iteration complexity exists. ‘Yes’, this paper answers, with a new optimization algorithm and strict theory proof. It starts with box-constrained quadratic programming (Box-QP), and many practical optimization problems fall into Box-QP. General smooth quadratic programming (QP), nonsmooth Lasso, and support vector machine (or regression) can be reformulated as Box-QP via duality theory. It is the first time to present an $O(\log(n))$ iteration complexity QP algorithm, in particular, which behaves like a ‘direct’ method: the required number of iterations is deterministic with exact value $\left\lceil\log\left(\frac{3.125n}{\epsilon}\right)/\log(1.5625)\right\rceil$. This significant breakthrough enables us to transition from the $O(\sqrt{n})$ to the $O(\log(n))$ optimization algorithm, whose amazing scalability is particularly relevant in today’s era of big data and artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google