Simple, unified analysis of Johnson-Lindenstrauss with applications

要約

高次元データを管理するための次元削減の基礎であるジョンソン・リンデンシュトラウス (JL) 補題の簡略化された統合分析を示します。
私たちのアプローチは理解を容易にし、球面、バイナリコイン、スパース JL、ガウス、サブガウス モデルなどのさまざまな構造を JL フレームワークに統合します。
この統合により、ストリーミング アルゴリズムから強化学習までのアプリケーションに不可欠なデータの固有のジオメトリが保存されます。
我々は、球面構造の有効性の最初の厳密な証明を提供し、この単純化されたフレームワーク内でサブガウス構造の一般的なクラスを導入します。
私たちの貢献の中心となるのは、明示的な定数を備えたハンソン・ライト不等式の高次元への革新的な拡張です。
シンプルでありながら強力な確率ツールと、強化された対角化プロセスなどの分析手法を使用することにより、私たちの分析は独立性の仮定を削除することで JL 補題の理論的基盤を強化し、現代のアルゴリズムへの実用的な適用可能性を拡張します。

要約(オリジナル)

We present a simplified and unified analysis of the Johnson-Lindenstrauss (JL) lemma, a cornerstone of dimensionality reduction for managing high-dimensional data. Our approach simplifies understanding and unifies various constructions under the JL framework, including spherical, binary-coin, sparse JL, Gaussian, and sub-Gaussian models. This unification preserves the intrinsic geometry of data, essential for applications from streaming algorithms to reinforcement learning. We provide the first rigorous proof of the spherical construction’s effectiveness and introduce a general class of sub-Gaussian constructions within this simplified framework. Central to our contribution is an innovative extension of the Hanson-Wright inequality to high dimensions, complete with explicit constants. By using simple yet powerful probabilistic tools and analytical techniques, such as an enhanced diagonalization process, our analysis solidifies the theoretical foundation of the JL lemma by removing an independence assumption and extends its practical applicability to contemporary algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google