Tradeoff of generalization error in unsupervised learning

要約

汎化誤差 (GE) を最小限に抑える最適なモデルの複雑さを見つけることは、機械学習の重要な問題です。
従来の教師あり学習の場合、このタスクには通常、バイアスと分散のトレードオフが含まれます。モデルをより複雑にしてバイアスを下げると、分散が増加します。
一方、教師なし学習にも同じトレードオフが存在するかどうかについてはほとんど研究されていません。
この研究では、教師なし学習は一般に GE の 2 つの要素、つまりモデル誤差とデータ誤差のトレードオフを示すことを提案します。より複雑なモデルを使用すると、データ誤差を犠牲にしてモデル誤差が減少しますが、データは減少します。
小さいトレーニング データセットほど重要な役割を果たすエラーです。
これは、制限付きボルツマン マシンをトレーニングして、特定の温度での 2 次元イジング モデルの構成と、特定の入口および出口レートでの完全に非対称の単純な除外プロセスを生成することによって裏付けられます。
私たちの結果は、学習するデータがより複雑になると、最適なモデルもより複雑になる傾向があることも示しています。

要約(オリジナル)

Finding the optimal model complexity that minimizes the generalization error (GE) is a key issue of machine learning. For the conventional supervised learning, this task typically involves the bias-variance tradeoff: lowering the bias by making the model more complex entails an increase in the variance. Meanwhile, little has been studied about whether the same tradeoff exists for unsupervised learning. In this study, we propose that unsupervised learning generally exhibits a two-component tradeoff of the GE, namely the model error and the data error — using a more complex model reduces the model error at the cost of the data error, with the data error playing a more significant role for a smaller training dataset. This is corroborated by training the restricted Boltzmann machine to generate the configurations of the two-dimensional Ising model at a given temperature and the totally asymmetric simple exclusion process with given entry and exit rates. Our results also indicate that the optimal model tends to be more complex when the data to be learned are more complex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google