Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models

要約

教師なし学習は、多くの実世界のアプリケーションで広く使用されています。
最も単純かつ重要な教師なし学習モデルの 1 つは、混合ガウス モデル (GMM) です。
この研究では、GMM 上のマルチタスク学習問題を研究します。これは、タスク間で潜在的に類似した GMM パラメーター構造を活用して、シングルタスク学習と比較して学習パフォーマンスを向上させることを目的としています。
我々は、関連タスク間の未知の類似性を効果的に利用し、任意の分布からの外れ値タスクの一部に対して堅牢な EM アルゴリズムに基づくマルチタスク GMM 学習手順を提案します。
提案された手順は、広範囲の領域でパラメータ推定誤差と過剰なミスクラスタリング誤差の両方について最小最適収束率を達成することが示されています。
さらに、同様の理論的結果が得られる GMM の転移学習の問題に取り組むアプローチを一般化します。
さらに、教師なし反復マルチタスクおよび転移学習法では、初期化アライメントの問題が発生する可能性があり、この問題を解決するために 2 つのアライメント アルゴリズムが提案されています。
最後に、シミュレーションと実際のデータ例を通じて、私たちの方法の有効性を実証します。
私たちの知る限り、これは理論的に保証された GMM でのマルチタスクと転移学習を研究した最初の研究です。

要約(オリジナル)

Unsupervised learning has been widely used in many real-world applications. One of the simplest and most important unsupervised learning models is the Gaussian mixture model (GMM). In this work, we study the multi-task learning problem on GMMs, which aims to leverage potentially similar GMM parameter structures among tasks to obtain improved learning performance compared to single-task learning. We propose a multi-task GMM learning procedure based on the EM algorithm that effectively utilizes unknown similarities between related tasks and is robust against a fraction of outlier tasks from arbitrary distributions. The proposed procedure is shown to achieve the minimax optimal rate of convergence for both parameter estimation error and the excess mis-clustering error, in a wide range of regimes. Moreover, we generalize our approach to tackle the problem of transfer learning for GMMs, where similar theoretical results are derived. Additionally, iterative unsupervised multi-task and transfer learning methods may suffer from an initialization alignment problem, and two alignment algorithms are proposed to resolve the issue. Finally, we demonstrate the effectiveness of our methods through simulations and real data examples. To the best of our knowledge, this is the first work studying multi-task and transfer learning on GMMs with theoretical guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google