Nonparametric Linear Feature Learning in Regression Through Regularisation

要約

表現学習は、特にノンパラメトリック手法では困難が多い高次元データのコンテキストにおいて、自動特徴選択において重要な役割を果たします。
この研究では、関連情報がデータの低次元線形部分空間内に存在する教師あり学習シナリオ、つまりマルチインデックス モデルに焦点を当てます。
この部分空間がわかっていれば、予測、計算、解釈が大幅に強化されるでしょう。
この課題に対処するために、学習に隠れた特徴をより効果的に活用することを目的とした、共同線形特徴学習とノンパラメトリック関数推定のための新しい方法を提案します。
私たちのアプローチは経験に基づいたリスクの最小化を採用し、関数微分に対するペナルティを追加して汎用性を確保しています。
エルミート多項式の直交性と回転不変性の特性を利用して、RegFeaL という名前の推定器を導入します。
代替の最小化を使用することにより、データを繰り返し回転して、先頭方向との整合性を向上させます。
私たちの方法の予想リスクは、最小限の仮定の下、明示的なレートを使用して、高い確率で最小限のリスクに収束することを確立します。
さらに、さまざまな実験における RegFeaL のパフォーマンスを実証する経験的結果も提供します。

要約(オリジナル)

Representation learning plays a crucial role in automated feature selection, particularly in the context of high-dimensional data, where non-parametric methods often struggle. In this study, we focus on supervised learning scenarios where the pertinent information resides within a lower-dimensional linear subspace of the data, namely the multi-index model. If this subspace were known, it would greatly enhance prediction, computation, and interpretation. To address this challenge, we propose a novel method for joint linear feature learning and non-parametric function estimation, aimed at more effectively leveraging hidden features for learning. Our approach employs empirical risk minimisation, augmented with a penalty on function derivatives, ensuring versatility. Leveraging the orthogonality and rotation invariance properties of Hermite polynomials, we introduce our estimator, named RegFeaL. By using alternative minimisation, we iteratively rotate the data to improve alignment with leading directions. We establish that the expected risk of our method converges in high-probability to the minimal risk under minimal assumptions and with explicit rates. Additionally, we provide empirical results demonstrating the performance of RegFeaL in various experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google