Faster Randomized Methods for Orthogonality Constrained Problems

要約

最近の文献では、データ サイエンスや計算科学全体で発生するさまざまなマトリックス問題の解決を加速するために、ランダム化された手法の使用が推奨されています。
ランダム化を利用する一般的な戦略の 1 つは、問題のサイズを縮小する方法としてランダム化を使用することです。
ただし、この戦略に基づく方法は、一部のアプリケーションでは十分な精度が得られません。
ランダム化された事前調整は、より高い精度を提供するランダム化を活用するためのもう 1 つのアプローチです。
ランダム化された事前調整を使用する際の主な課題は、基礎となる反復手法が必要であるため、これまでのランダム化された事前調整は、回帰問題と線形システムを解決するためにほぼ独占的に適用されてきました。
この記事では、ランダム化された事前条件付けの適用を、データ サイエンス全体に蔓延する別の重要な一連の問題、つまり (一般化された) 直交性制約を伴う最適化問題に拡張する方法を示します。
リーマン最適化とリーマン前処理のフレームワークに基づいた、支配正準相関の計算問題とフィッシャーの線形判別分析問題に関するアプローチを示します。
両方の問題について、計算コストと漸近収束に対する前処理の効果を評価し、私たちのアプローチの有用性を経験的に示します。

要約(オリジナル)

Recent literature has advocated the use of randomized methods for accelerating the solution of various matrix problems arising throughout data science and computational science. One popular strategy for leveraging randomization is to use it as a way to reduce problem size. However, methods based on this strategy lack sufficient accuracy for some applications. Randomized preconditioning is another approach for leveraging randomization, which provides higher accuracy. The main challenge in using randomized preconditioning is the need for an underlying iterative method, thus randomized preconditioning so far have been applied almost exclusively to solving regression problems and linear systems. In this article, we show how to expand the application of randomized preconditioning to another important set of problems prevalent across data science: optimization problems with (generalized) orthogonality constraints. We demonstrate our approach, which is based on the framework of Riemannian optimization and Riemannian preconditioning, on the problem of computing the dominant canonical correlations and on the Fisher linear discriminant analysis problem. For both problems, we evaluate the effect of preconditioning on the computational costs and asymptotic convergence, and demonstrate empirically the utility of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google