Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models

要約

教師なし学習は、多くの実世界のアプリケーションで広く使用されています。
最も単純かつ重要な教師なし学習モデルの 1 つは、混合ガウス モデル (GMM) です。
この研究では、GMM 上のマルチタスク学習問題を研究します。これは、タスク間で潜在的に類似した GMM パラメーター構造を活用して、シングルタスク学習と比較して学習パフォーマンスを向上させることを目的としています。
我々は、EM アルゴリズムに基づくマルチタスク GMM 学習手順を提案します。この手順は、関連タスク間の未知の類似性を効果的に利用できるだけでなく、任意の分布からの外れ値タスクの一部に対しても堅牢です。
提案された手順は、広範囲の領域でパラメータ推定誤差と過剰なミスクラスタリング誤差の両方に対して最小最適収束率を達成することが示されています。
さらに、同様の理論的結果が得られる GMM の転移学習の問題に取り組むアプローチを一般化します。
最後に、シミュレーションと実際のデータの例を通じて、私たちの方法の有効性を実証します。
私たちの知る限り、これは理論的に保証された GMM でのマルチタスク学習と転移学習を研究した最初の研究です。

要約(オリジナル)

Unsupervised learning has been widely used in many real-world applications. One of the simplest and most important unsupervised learning models is the Gaussian mixture model (GMM). In this work, we study the multi-task learning problem on GMMs, which aims to leverage potentially similar GMM parameter structures among tasks to obtain improved learning performance compared to single-task learning. We propose a multi-task GMM learning procedure based on the EM algorithm that not only can effectively utilize unknown similarity between related tasks but is also robust against a fraction of outlier tasks from arbitrary distributions. The proposed procedure is shown to achieve minimax optimal rate of convergence for both parameter estimation error and the excess mis-clustering error, in a wide range of regimes. Moreover, we generalize our approach to tackle the problem of transfer learning for GMMs, where similar theoretical results are derived. Finally, we demonstrate the effectiveness of our methods through simulations and real data examples. To the best of our knowledge, this is the first work studying multi-task and transfer learning on GMMs with theoretical guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google