Spectral Self-supervised Feature Selection

要約

教師なし設定での高次元の観察から意味のある特徴のサブセットを選択すると、クラスタリングや次元削減などの下流分析の精度が大幅に向上し、特定のデータセットにおける異質性の原因について貴重な洞察が得られます。
この論文では、教師なし特徴選択のための自己教師ありグラフベースのアプローチを提案します。
私たちの方法の中核には、グラフのラプラシアンの固有ベクトルに単純な処理ステップを適用することにより、堅牢な擬似ラベルを計算することが含まれます。
擬似ラベルの計算に使用される固有ベクトルのサブセットは、モデルの安定性基準に基づいて選択されます。
次に、観測値から擬似ラベルを予測するサロゲート モデルをトレーニングすることで、各特徴の重要性を測定します。
私たちのアプローチは、外れ値や複雑な下部構造の存在など、困難なシナリオに対して堅牢であることが示されています。
実世界のデータセットでの実験を通じて私たちの方法の有効性を実証し、複数のドメインにわたる堅牢性、特に生物学的データセットでの有効性を示します。

要約(オリジナル)

Choosing a meaningful subset of features from high-dimensional observations in unsupervised settings can greatly enhance the accuracy of downstream analysis, such as clustering or dimensionality reduction, and provide valuable insights into the sources of heterogeneity in a given dataset. In this paper, we propose a self-supervised graph-based approach for unsupervised feature selection. Our method’s core involves computing robust pseudo-labels by applying simple processing steps to the graph Laplacian’s eigenvectors. The subset of eigenvectors used for computing pseudo-labels is chosen based on a model stability criterion. We then measure the importance of each feature by training a surrogate model to predict the pseudo-labels from the observations. Our approach is shown to be robust to challenging scenarios, such as the presence of outliers and complex substructures. We demonstrate the effectiveness of our method through experiments on real-world datasets, showing its robustness across multiple domains, particularly its effectiveness on biological datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google