Functional Mixtures-of-Experts

要約

観測値に関数 (通常は時系列) が含まれる状況での予測のために、異種データの統計分析を検討します。
私たちは、ベクトル観測による予測のためにデータの不均質性をモデル化する際に選択されるフレームワークとして、専門家混合 (ME) を使用したモデリングをこの機能的データ分析のコンテキストに拡張します。
我々は最初に、機能全体からの予測子が潜在的にノイズの多い観測である機能的 ME (FME) と呼ばれる新しい ME モデルのファミリーを提示します。
さらに、予測子のデータ生成プロセスと実際の応答は、未知のパーティションを表す隠れた離散変数によって制御されます。
第 2 に、Lasso のような正則化を介して基礎となる関数パラメータの導関数にスパース性を課すことにより、iFME と呼ばれる FME モデルのスパースで解釈可能な関数表現を提供します。
私たちは、モデルに適合するための Lasso-like (EM-Lasso) 正規化最尤パラメータ推定戦略のための専用の期待値最大化アルゴリズムを開発します。
提案されたモデルとアルゴリズムは、シミュレートされたシナリオと 2 つの実際のデータセットへの適用で研究され、得られた結果は、複雑な非線形関係を正確に捕捉し、異種回帰データをクラスタリングする際のパフォーマンスを実証します。

要約(オリジナル)

We consider the statistical analysis of heterogeneous data for prediction in situations where the observations include functions, typically time series. We extend the modeling with Mixtures-of-Experts (ME), as a framework of choice in modeling heterogeneity in data for prediction with vectorial observations, to this functional data analysis context. We first present a new family of ME models, named functional ME (FME) in which the predictors are potentially noisy observations, from entire functions. Furthermore, the data generating process of the predictor and the real response, is governed by a hidden discrete variable representing an unknown partition. Second, by imposing sparsity on derivatives of the underlying functional parameters via Lasso-like regularizations, we provide sparse and interpretable functional representations of the FME models called iFME. We develop dedicated expectation–maximization algorithms for Lasso-like (EM-Lasso) regularized maximum-likelihood parameter estimation strategies to fit the models. The proposed models and algorithms are studied in simulated scenarios and in applications to two real data sets, and the obtained results demonstrate their performance in accurately capturing complex nonlinear relationships and in clustering the heterogeneous regression data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google