KF-PLS: Optimizing Kernel Partial Least-Squares (K-PLS) with Kernel Flows

要約

部分最小二乗 (PLS) 回帰は、多変量回帰を実行するためにケモメトリクスで広く使用されているツールです。
PLS は双線形法であり、予測変数と応答の間の非線形関係をモデル化する能力が限られています。
カーネル PLS (K-PLS) は、非線形の予測子と応答の関係をモデル化するために導入されました。
K-PLS では、入力データはカーネル関数を介して再現カーネル ヒルベルト空間 (RKH) にマッピングされ、応答と入力行列の間の依存関係は線形であると想定されます。
K-PLS は、カーネル行列と従属変数の間の RKH 空間で実行されます。
利用可能なほとんどの研究では、固定カーネル パラメーターが使用されています。
K-PLS のカーネル パラメーターの最適化については、わずかな研究しか行われていません。
この記事では、ガウス過程回帰 (GPR) 用に開発された手法であるカーネル フロー (KF) に基づくカーネル関数最適化の方法論を提案します。
結果を 4 つのケーススタディで説明します。
ケーススタディは、分類および回帰タスクで使用される数値例と実際のデータの両方を表しています。
KF で最適化された K-PLS (この研究では KF-PLS と呼ばれます) は、図示されたすべてのシナリオで良好な結果が得られることが示されています。
この論文では、K-PLS に適用された場合の KF 方法論の相互検証研究とハイパーパラメータ分析について説明します。

要約(オリジナル)

Partial Least-Squares (PLS) Regression is a widely used tool in chemometrics for performing multivariate regression. PLS is a bi-linear method that has a limited capacity of modelling non-linear relations between the predictor variables and the response. Kernel PLS (K-PLS) has been introduced for modelling non-linear predictor-response relations. In K-PLS, the input data is mapped via a kernel function to a Reproducing Kernel Hilbert space (RKH), where the dependencies between the response and the input matrix are assumed to be linear. K-PLS is performed in the RKH space between the kernel matrix and the dependent variable. Most available studies use fixed kernel parameters. Only a few studies have been conducted on optimizing the kernel parameters for K-PLS. In this article, we propose a methodology for the kernel function optimization based on Kernel Flows (KF), a technique developed for Gaussian process regression (GPR). The results are illustrated with four case studies. The case studies represent both numerical examples and real data used in classification and regression tasks. K-PLS optimized with KF, called KF-PLS in this study, is shown to yield good results in all illustrated scenarios. The paper presents cross-validation studies and hyperparameter analysis of the KF methodology when applied to K-PLS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google