Online Tensor Learning: Computational and Statistical Trade-offs, Adaptivity and Optimal Regret

要約

大規模なテンソル学習アルゴリズムは通常、計算コストが高く、膨大な量のデータを保存する必要があります。
この論文では、テンソル学習用の統合オンライン リーマン勾配降下法 (oRGrad) アルゴリズムを提案します。このアルゴリズムは、計算効率が高く、メモリ消費量がはるかに少なく、タイムリーな予測を行いながら順次到着するデータを処理できます。
このアルゴリズムは、線形モデルと一般化線形モデルの両方に適用できます。
時間軸 T が既知の場合、oRGrad は適切な固定ステップ サイズを選択することで統計的な最適性を実現します。
ノイズの多いテンソル補完は、オフライン手法では技術的に困難なことが多いトリミング手順を回避し、鋭いエントリごとの統計誤差を確保することで、特にオンライン アルゴリズムの恩恵を受けることがわかりました。
oRGrad のリグレスが分析され、計算の収束率、統計誤差、リグレス限界に関する興味深いトリレンマが明らかになります。
適切な一定のステップ サイズを選択することで、oRGrad は $O(T^{1/2})$ の後悔を達成します。
次に、adaptive-oRGrad アルゴリズムを導入します。このアルゴリズムは、対象期間が既知であるかどうかに関係なく、ステップ サイズを適応的に選択することで最適な $O(\log T)$ リグレスを達成できます。
adaptive-oRGrad アルゴリズムは、ホライズンを知らなくても統計的に最適なエラー率を達成できます。
包括的な数値シミュレーションにより、理論的発見が裏付けられます。
私たちは、oRGrad が、宇宙天気の影響を監視するテンソル予測子を使用して太陽 F10.7 指数を予測する際に、オフラインの対応物よりも大幅に優れていることを示します。

要約(オリジナル)

Large tensor learning algorithms are typically computationally expensive and require storing a vast amount of data. In this paper, we propose a unified online Riemannian gradient descent (oRGrad) algorithm for tensor learning, which is computationally efficient, consumes much less memory, and can handle sequentially arriving data while making timely predictions. The algorithm is applicable to both linear and generalized linear models. If the time horizon T is known, oRGrad achieves statistical optimality by choosing an appropriate fixed step size. We find that noisy tensor completion particularly benefits from online algorithms by avoiding the trimming procedure and ensuring sharp entry-wise statistical error, which is often technically challenging for offline methods. The regret of oRGrad is analyzed, revealing a fascinating trilemma concerning the computational convergence rate, statistical error, and regret bound. By selecting an appropriate constant step size, oRGrad achieves an $O(T^{1/2})$ regret. We then introduce the adaptive-oRGrad algorithm, which can achieve the optimal $O(\log T)$ regret by adaptively selecting step sizes, regardless of whether the time horizon is known. The adaptive-oRGrad algorithm can attain a statistically optimal error rate without knowing the horizon. Comprehensive numerical simulations corroborate our theoretical findings. We show that oRGrad significantly outperforms its offline counterpart in predicting the solar F10.7 index with tensor predictors that monitor space weather impacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google