Reweighted Solutions for Weighted Low Rank Approximation

要約

重み付き低ランク近似 (WLRA) は、統計解析、モデル圧縮、信号処理に至るまでのアプリケーションに使用される、重要ではあるものの計算が難しいプリミティブです。
この問題の NP 困難さに対処するために、以前の研究では、この問題を解決するヒューリスティック、双基準、または固定パラメーターの扱いやすいアルゴリズムが考慮されています。
この研究では、必ずしも低ランクではない行列を出力する新しい緩和ソリューションを WLRA に導入しますが、非常に少ないパラメータを使用して保存でき、重み行列のランクが低い場合に証明可能な近似保証を提供します。
私たちの中心的なアイデアは、重み行列自体を使用して低ランクのソリューションを再重み付けすることであり、これにより、モデル圧縮や合成データセットへのアプリケーションで顕著な経験的パフォーマンスを備えた非常にシンプルなアルゴリズムが得られます。
また、私たちのアルゴリズムは、この問題に関連する自然な分散問題に対してほぼ最適な通信複雑さの限界を与え、それに対して一致する通信の下限を示します。
まとめると、通信の複雑さの限界は、重み行列のランクが WLRA の通信の複雑さをパラメータ化する可能性があることを示しています。
また、重み付けされた目的を使用した特徴選択に対する最初の相対誤差保証も得られます。

要約(オリジナル)

Weighted low rank approximation (WLRA) is an important yet computationally challenging primitive with applications ranging from statistical analysis, model compression, and signal processing. To cope with the NP-hardness of this problem, prior work considers heuristics, bicriteria, or fixed parameter tractable algorithms to solve this problem. In this work, we introduce a new relaxed solution to WLRA which outputs a matrix that is not necessarily low rank, but can be stored using very few parameters and gives provable approximation guarantees when the weight matrix has low rank. Our central idea is to use the weight matrix itself to reweight a low rank solution, which gives an extremely simple algorithm with remarkable empirical performance in applications to model compression and on synthetic datasets. Our algorithm also gives nearly optimal communication complexity bounds for a natural distributed problem associated with this problem, for which we show matching communication lower bounds. Together, our communication complexity bounds show that the rank of the weight matrix provably parameterizes the communication complexity of WLRA. We also obtain the first relative error guarantees for feature selection with a weighted objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google