Generating Accurate Virtual Examples For Lifelong Machine Learning

要約

生涯機械学習 (LML) は、人間のような永続的かつ累積的な学習の性質に関する機械学習研究の分野です。
LML システムの目的は、以前の情報を壊滅的に破壊することなく、新しい情報を既存の機械学習モデルに統合することです。
私たちの研究は、前のタスクのトレーニング例を保持せずに、タスクのリハーサルを通じて知識統合ネットワークを作成するために、この LML 保持の問題に対処します。
トレーニング済みの制限付きボルツマン マシンからのトレーニング データ再構築エラーを使用して、トレーニング済みモデルに与えられたサンプルの一様ランダム セットの再構築されたセットから正確な仮想サンプルを生成できることを発見しました。
また、再構成平均二乗誤差に基づいて、トレーニング済みネットワーク モデルに与えられた 2 つのデータセットの確率分布を比較するための尺度も定義しました。

要約(オリジナル)

Lifelong machine learning (LML) is an area of machine learning research concerned with human-like persistent and cumulative nature of learning. LML system’s objective is consolidating new information into an existing machine learning model without catastrophically disrupting the prior information. Our research addresses this LML retention problem for creating a knowledge consolidation network through task rehearsal without retaining the prior task’s training examples. We discovered that the training data reconstruction error from a trained Restricted Boltzmann Machine can be successfully used to generate accurate virtual examples from the reconstructed set of a uniform random set of examples given to the trained model. We also defined a measure for comparing the probability distributions of two datasets given to a trained network model based on their reconstruction mean square errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google