Personalized Dictionary Learning for Heterogeneous Datasets

要約

ここでは、Personalized Dictionary Learning (PerDL) という、関連性はあるものの挑戦的な問題を紹介します。この問題の目標は、共通点を共有する異種データセットから疎な線形表現を学習することです。
PerDL では、各データセットの共有および固有の特徴をグローバル辞書およびローカル辞書としてモデル化します。
PerDL の課題は、古典的な辞書学習 (DL) から引き継がれているだけでなく、共通の固有の機能の未知の性質によっても発生します。
この論文では、この問題を厳密に定式化し、グローバル辞書とローカル辞書が証明可能に解きほぐされる条件を提供します。
このような状況下で、異種データセットからグローバル辞書とローカル辞書の両方を回復できる Personalized Matching and Averaging (PerMA) と呼ばれるメタ アルゴリズムを提供します。
PerMA は非常に効率的です。
適切な条件下では、線形速度でグラウンド トゥルースに収束します。
さらに、強い学習者の力を自動的に借りて、弱い学習者の予測を改善します。
グローバル辞書とローカル辞書を抽出するための一般的なフレームワークとして、不均衡なデータセットを使用したトレーニングやビデオ監視など、さまざまな学習タスクにおける PerDL のアプリケーションを示します。

要約(オリジナル)

We introduce a relevant yet challenging problem named Personalized Dictionary Learning (PerDL), where the goal is to learn sparse linear representations from heterogeneous datasets that share some commonality. In PerDL, we model each dataset’s shared and unique features as global and local dictionaries. Challenges for PerDL not only are inherited from classical dictionary learning (DL), but also arise due to the unknown nature of the shared and unique features. In this paper, we rigorously formulate this problem and provide conditions under which the global and local dictionaries can be provably disentangled. Under these conditions, we provide a meta-algorithm called Personalized Matching and Averaging (PerMA) that can recover both global and local dictionaries from heterogeneous datasets. PerMA is highly efficient; it converges to the ground truth at a linear rate under suitable conditions. Moreover, it automatically borrows strength from strong learners to improve the prediction of weak learners. As a general framework for extracting global and local dictionaries, we show the application of PerDL in different learning tasks, such as training with imbalanced datasets and video surveillance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google