Efficiency of First-Order Methods for Low-Rank Tensor Recovery with the Tensor Nuclear Norm Under Strict Complementarity

要約

我々は、テンソル核ノルムによって誘導されるボール上の制約付き最小化に基づいて低ランクテンソルを回復するための凸緩和を検討する。我々は、低ランク行列の回復のための凸緩和を考察し、厳密な相補性条件(SC)の下で、標準的な勾配法の収束率と反復あたりの実行時間の両方が劇的に改善される可能性があることを確立した最近の結果を基礎とする。我々は、テンソル核ノルム球に対する適切な厳密相補性条件を開発し、この条件の下で以下の主要な結果を得る：1.最小化する目的が$f( \mX)=g( \mAmX)+langle{Γ,ΓmX}rangle$ の形であるとき、$g$が強く凸で、$mAm$が線形写像（例えば最小二乗）であるとき、$f$が強く凸である必要はないにもかかわらず、2次成長境界が成り立ち、標準投影勾配法の線形収束率を意味する。2.2.滑らかな目的関数の場合、SCを満たす最適解のある近傍で初期化すると、標準的な投影勾配法は、最適解の管位と一致するランクのSVD計算（テンソル核ノルム球への射影）しか必要としない。特に、チューバルランクが一定である場合、これは反復あたりの実行時間が（テンソルのサイズに対して）ほぼ線形であることを意味する。3.3.一般的な滑らかな鞍点定式化が可能な非平滑目的関数に対して、よく知られたエクストラグラディエント法と同様の結果を導く。さらに、任意の次数のテンソルに関する多くの基本的な結果を厳密に拡張している。

要約(オリジナル)

We consider convex relaxations for recovering low-rank tensors based on constrained minimization over a ball induced by the tensor nuclear norm, recently introduced in \cite{tensor_tSVD}. We build on a recent line of results that considered convex relaxations for the recovery of low-rank matrices and established that under a strict complementarity condition (SC), both the convergence rate and per-iteration runtime of standard gradient methods may improve dramatically. We develop the appropriate strict complementarity condition for the tensor nuclear norm ball and obtain the following main results under this condition: 1. When the objective to minimize is of the form $f(\mX)=g(\mA\mX)+\langle{\mC,\mX}\rangle$ , where $g$ is strongly convex and $\mA$ is a linear map (e.g., least squares), a quadratic growth bound holds, which implies linear convergence rates for standard projected gradient methods, despite the fact that $f$ need not be strongly convex. 2. For a smooth objective function, when initialized in certain proximity of an optimal solution which satisfies SC, standard projected gradient methods only require SVD computations (for projecting onto the tensor nuclear norm ball) of rank that matches the tubal rank of the optimal solution. In particular, when the tubal rank is constant, this implies nearly linear (in the size of the tensor) runtime per iteration, as opposed to super linear without further assumptions. 3. For a nonsmooth objective function which admits a popular smooth saddle-point formulation, we derive similar results to the latter for the well known extragradient method. An additional contribution which may be of independent interest, is the rigorous extension of many basic results regarding tensors of arbitrary order, which were previously obtained only for third-order tensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL