A Novel Approach for Intrinsic Dimension Estimation

要約

実際のデータは、その性質のために複雑で非線形の構造を持っています。
これらの非線形性と多数の機能は、通常、空間現象や、よく知られている次元の呪いなどの問題を引き起こす可能性があります。
低次元空間でデータセットのほぼ最適な表現を見つける（つまり、次元削減）は、機械学習タスクの成功を改善するための適用可能なメカニズムを提供します。
ただし、ほぼ最適な表現に必要なデータディメンション（本質的な次元）を推定することは、特にビッグデータを扱う場合、非常に費用がかかる場合があります。
次元削減方法のためにマトリックスベクトル製品にのみ依存する非常に効率的で堅牢な内因性ディメンション推定アプローチを提案します。
提案された方法のパフォーマンスを最先端のアプローチと比較するために、実験的研究も実施されます。

要約(オリジナル)

The real-life data have a complex and non-linear structure due to their nature. These non-linearities and the large number of features can usually cause problems such as the empty-space phenomenon and the well-known curse of dimensionality. Finding the nearly optimal representation of the dataset in a lower-dimensional space (i.e. dimensionality reduction) offers an applicable mechanism for improving the success of machine learning tasks. However, estimating the required data dimension for the nearly optimal representation (intrinsic dimension) can be very costly, particularly if one deals with big data. We propose a highly efficient and robust intrinsic dimension estimation approach that only relies on matrix-vector products for dimensionality reduction methods. An experimental study is also conducted to compare the performance of proposed method with state of the art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google