Nonparametric Linear Feature Learning in Regression Through Regularisation

要約

表現学習は、特にノンパラメトリック手法では困難が多い高次元データのコンテキストにおいて、自動特徴選択において重要な役割を果たします。
この研究では、関連情報がデータの低次元線形部分空間内に存在する教師あり学習シナリオ、つまりマルチインデックス モデルに焦点を当てます。
この部分空間が分かれば、予測、計算、解釈が大幅に強化されるでしょう。
この課題に対処するために、予測関数と線形部分空間を同時に推定する、ノンパラメトリック予測による線形特徴学習の新しい方法を提案します。
私たちのアプローチは経験に基づいたリスクの最小化を採用し、関数微分に対するペナルティを追加して汎用性を確保しています。
エルミート多項式の直交性と回転不変性の特性を利用して、RegFeaL という名前の推定器を導入します。
代替の最小化を利用することで、データを繰り返し回転させて、進行方向との整合性を改善し、実際の設定で関連する寸法を正確に推定します。
私たちの方法は、明示的なレートを使用して予測関数の一貫した推定量を生成することを確立します。
さらに、さまざまな実験における RegFeaL のパフォーマンスを実証する経験的結果も提供します。

要約(オリジナル)

Representation learning plays a crucial role in automated feature selection, particularly in the context of high-dimensional data, where non-parametric methods often struggle. In this study, we focus on supervised learning scenarios where the pertinent information resides within a lower-dimensional linear subspace of the data, namely the multi-index model. If this subspace were known, it would greatly enhance prediction, computation, and interpretation. To address this challenge, we propose a novel method for linear feature learning with non-parametric prediction, which simultaneously estimates the prediction function and the linear subspace. Our approach employs empirical risk minimisation, augmented with a penalty on function derivatives, ensuring versatility. Leveraging the orthogonality and rotation invariance properties of Hermite polynomials, we introduce our estimator, named RegFeaL. By utilising alternative minimisation, we iteratively rotate the data to improve alignment with leading directions and accurately estimate the relevant dimension in practical settings. We establish that our method yields a consistent estimator of the prediction function with explicit rates. Additionally, we provide empirical results demonstrating the performance of RegFeaL in various experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google