Structured Matrix Learning under Arbitrary Entrywise Dependence and Estimation of Markov Transition Kernel

要約

構造化行列推定の問題は、主に強いノイズ依存性の仮定の下で研究されてきた。本論文では、ノイズ行列がエントリ間に任意の依存性を持つ任意の結合分布に由来する可能性がある、ノイズ低ランク＋スパース行列回復の一般的な枠組みを考察する。我々は、非干渉性制約付き最小二乗推定量を提案し、様々なノイズ分布の下で、決定論的下界とマッチング最小リスクの両方の意味で、その厳密性を証明する。これを達成するために、我々は、2つの任意の低ランクインコヒーレント行列間の差は、そのエントリに渡ってエネルギーを拡散しなければならない、言い換えれば、スパースであってはならないという新しい結果を確立する。次に、いくつかの重要な統計的機械学習問題への我々のフレームワークの応用を紹介する。構造化マルコフ遷移カーネルの推定問題において、提案手法は最小最適性を達成し、その結果は強化学習において重要な要素である条件付き平均演算子の推定にも拡張可能である。また、マルチタスク回帰や構造化共分散推定への応用も示す。この困難な最適化問題を近似的に解くために、交互最小化アルゴリズムを提案する。数値結果は、数ステップで収束する我々の手法の有効性を裏づける。

要約(オリジナル)

The problem of structured matrix estimation has been studied mostly under strong noise dependence assumptions. This paper considers a general framework of noisy low-rank-plus-sparse matrix recovery, where the noise matrix may come from any joint distribution with arbitrary dependence across entries. We propose an incoherent-constrained least-square estimator and prove its tightness both in the sense of deterministic lower bound and matching minimax risks under various noise distributions. To attain this, we establish a novel result asserting that the difference between two arbitrary low-rank incoherent matrices must spread energy out across its entries; in other words, it cannot be too sparse, which sheds light on the structure of incoherent low-rank matrices and may be of independent interest. We then showcase the applications of our framework to several important statistical machine learning problems. In the problem of estimating a structured Markov transition kernel, the proposed method achieves the minimax optimality and the result can be extended to estimating the conditional mean operator, a crucial component in reinforcement learning. The applications to multitask regression and structured covariance estimation are also presented. We propose an alternating minimization algorithm to approximately solve the potentially hard optimization problem. Numerical results corroborate the effectiveness of our method which typically converges in a few steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL