Spectral Estimation with Free Decompression

要約

非常に大きなマトリックスの固有値を計算することは、ログ決定、マトリックス関数の痕跡、およびその他の重要なメトリックの評価など、多​​くの機械学習アプリケーションで重要なタスクです。
データセットがスケールで成長し続けるにつれて、対応する共分散とカーネルマトリックスはますます大きくなり、しばしば直接形成を非現実的または不可能にする大きさに達します。
既存の手法は通常、マトリックススペクトルがうまく動作する場合、効率的な近似を提供できるマトリックスベクトル製品に依存しています。
ただし、分散学習などの設定では、マトリックスが間接的にのみ定義されている場合、完全なデータセットへのアクセスは、元のマトリックスの非常に小さなマトリックのみに制限できます。
これらの場合、名目上の関心のマトリックスは暗黙の演算子としても利用できません。つまり、マトリックスベクトル製品でさえ利用できない可能性があります。
このような設定では、マトリックスはマスクされたスナップショットのみにアクセスできるという意味で、「不可解」です。
自由確率理論から原則を利用して、そのようなマトリックスのスペクトルを推定するために「自由減圧」の新しい方法を導入します。
私たちの方法は、小さな亜類の経験的スペクトル密度から外挿するために、非常に大きな（不可解な）マトリックスの固有種を推測するために使用できます（完全なマトリックスベクトル製品で形成したり評価したりすることさえできません）。
一連の例を通じてこのアプローチの有効性を実証し、そのパフォーマンスを合成環境でのランダムマトリックス理論からの既知の制限分布と比較し、実際のデータセットのサブマトリックに適用し、それらを完全な経験的固有スペクトルと一致させます。

要約(オリジナル)

Computing eigenvalues of very large matrices is a critical task in many machine learning applications, including the evaluation of log-determinants, the trace of matrix functions, and other important metrics. As datasets continue to grow in scale, the corresponding covariance and kernel matrices become increasingly large, often reaching magnitudes that make their direct formation impractical or impossible. Existing techniques typically rely on matrix-vector products, which can provide efficient approximations, if the matrix spectrum behaves well. However, in settings like distributed learning, or when the matrix is defined only indirectly, access to the full data set can be restricted to only very small sub-matrices of the original matrix. In these cases, the matrix of nominal interest is not even available as an implicit operator, meaning that even matrix-vector products may not be available. In such settings, the matrix is ‘impalpable,’ in the sense that we have access to only masked snapshots of it. We draw on principles from free probability theory to introduce a novel method of ‘free decompression’ to estimate the spectrum of such matrices. Our method can be used to extrapolate from the empirical spectral densities of small submatrices to infer the eigenspectrum of extremely large (impalpable) matrices (that we cannot form or even evaluate with full matrix-vector products). We demonstrate the effectiveness of this approach through a series of examples, comparing its performance against known limiting distributions from random matrix theory in synthetic settings, as well as applying it to submatrices of real-world datasets, matching them with their full empirical eigenspectra.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google