Efficient Estimation of Regularized Tyler’s M-Estimator Using Approximate LOOCV

要約

正則化係数$ \ alpha \ in（0,1）$を正規化する係数$ \ alpha \ in（rtme）を推定する問題を検討します。
特に、適切に選択された目的関数のソリューションとして$ \ alpha $を設定することにより、最適な収縮係数を推定することを提案します。
すなわち、休暇をとると、反対検証（LOOCV）の対数責任の損失。
LOOCVは中程度のサンプルサイズ$ n $でも計算上法外なものであるため、LOOCV手順中に残された各サンプルのRTME手順$ n $時間を呼び出す必要性を排除するLOOCV対数尤度損失の計算上の効率的な近似を提案します。
この近似により、LOOCV手順の実行時間の複雑さが$ O（n）$削減され、LOOCV推定値を計算するための大幅な高速化が得られます。
重尾のある楕円形の分布からサンプリングされた合成高次元データ、およびオブジェクト認識、顔認識、手書きのデジットの認識のための実際の高次元データセットに関する提案されたアプローチの効率と精度を実証します。
私たちの実験は、提案されたアプローチが、収縮係数推定のための文献の他の方法よりも効率的で一貫してより正確であることを示しています。

要約(オリジナル)

We consider the problem of estimating a regularization parameter, or a shrinkage coefficient $\alpha \in (0,1)$ for Regularized Tyler’s M-estimator (RTME). In particular, we propose to estimate an optimal shrinkage coefficient by setting $\alpha$ as the solution to a suitably chosen objective function; namely the leave-one-out cross-validated (LOOCV) log-likelihood loss. Since LOOCV is computationally prohibitive even for moderate sample size $n$, we propose a computationally efficient approximation for the LOOCV log-likelihood loss that eliminates the need for invoking the RTME procedure $n$ times for each sample left out during the LOOCV procedure. This approximation yields an $O(n)$ reduction in the running time complexity for the LOOCV procedure, which results in a significant speedup for computing the LOOCV estimate. We demonstrate the efficiency and accuracy of the proposed approach on synthetic high-dimensional data sampled from heavy-tailed elliptical distributions, as well as on real high-dimensional datasets for object recognition, face recognition, and handwritten digit’s recognition. Our experiments show that the proposed approach is efficient and consistently more accurate than other methods in the literature for shrinkage coefficient estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google