Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models

要約

タイトル：ラプラシアン正則化層別モデルにおけるグラフ学習とモデル適合

要約：
– ラプラシアン正則化層別モデル（LRSM）は、カテゴリカル特徴である層別（例：年齢、地域、時間、予測ホライズンなど）によって定義されるサブ問題の明示的または暗黙的なネットワーク構造を活用し、隣接層からのデータを用いて各サブ問題のパラメータ学習を強化するモデルです。時間系列予測、表現学習、グラフクラスタリング、最大マージン分類、一般的なフューショット学習など、多岐に渡る機械学習および信号処理の問題に広く適用されています。
– しかし、既存のLRSMの研究は既知のグラフを仮定したり、特定のアプリケーションに限定されたりすることが多い。本論文では、LRSMにおけるグラフの重みの重要性と感度を示し、パラメータスケールとサンプルサイズがノード間で重みのバランスが崩れると感度が無限に増大することが証明されています。
– そこで、我々は、モデルパラメータを適合させることとグラフを共に学習する汎用的な手法を提案しています。我々は、提案された式を、グラフの接続観点からとエンド-トゥ-エンドのベイジアンの観点から解釈し、問題を解決するための効率的なアルゴリズムを提案しています。既存の文献で必要とされるラプラシアン正則化の強い平滑性が欠如しているため全体的な収束保証はされていませんが、提案された最適化アルゴリズムの収束保証も提供されています。
– 最後に、我々は実世界の数値例を用いて、提案手法の効率性を既存の手法と比較しています。

要約(オリジナル)

Laplacian regularized stratified models (LRSM) are models that utilize the explicit or implicit network structure of the sub-problems as defined by the categorical features called strata (e.g., age, region, time, forecast horizon, etc.), and draw upon data from neighboring strata to enhance the parameter learning of each sub-problem. They have been widely applied in machine learning and signal processing problems, including but not limited to time series forecasting, representation learning, graph clustering, max-margin classification, and general few-shot learning. Nevertheless, existing works on LRSM have either assumed a known graph or are restricted to specific applications. In this paper, we start by showing the importance and sensitivity of graph weights in LRSM, and provably show that the sensitivity can be arbitrarily large when the parameter scales and sample sizes are heavily imbalanced across nodes. We then propose a generic approach to jointly learn the graph while fitting the model parameters by solving a single optimization problem. We interpret the proposed formulation from both a graph connectivity viewpoint and an end-to-end Bayesian perspective, and propose an efficient algorithm to solve the problem. Convergence guarantees of the proposed optimization algorithm is also provided despite the lack of global strongly smoothness of the Laplacian regularization term typically required in the existing literature, which may be of independent interest. Finally, we illustrate the efficiency of our approach compared to existing methods by various real-world numerical examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI