TL-PCA: Transfer Learning of Principal Component Analysis

要約

対象となるターゲット データの例が少なすぎる場合、主成分分析 (PCA) が大幅に制限される可能性があります。
我々は、ターゲットタスクの希少なデータに加えて、関連するソースタスクからの知識を使用する、PCA (TL-PCA) への転移学習アプローチを提案します。
当社の TL-PCA には 2 つのバージョンがあり、1 つはソース タスクの事前トレーニングされた PCA ソリューションを使用するバージョン、もう 1 つはソース データを使用するバージョンです。
私たちが提案するアプローチは、事前トレーニングされたソース モデルまたはソース データによって与えられるターゲット部分空間とソース部分空間の近接性に対するペナルティを使用して、PCA 最適化目標を拡張します。
この最適化は、データ依存の固有ベクトル (つまり、TL-PCA の主方向) の数がターゲット データ例の数に制限されない固有分解によって解決されます。これが、標準の PCA パフォーマンスを制限する根本原因です。
したがって、画像データセットの結果は、学習された部分空間次元がターゲット データ例の数よりも低いまたは高い場合、テスト データの表現が次元削減のための TL-PCA によって改善されることを示しています。

要約(オリジナル)

Principal component analysis (PCA) can be significantly limited when there is too few examples of the target data of interest. We propose a transfer learning approach to PCA (TL-PCA) where knowledge from a related source task is used in addition to the scarce data of a target task. Our TL-PCA has two versions, one that uses a pretrained PCA solution of the source task, and another that uses the source data. Our proposed approach extends the PCA optimization objective with a penalty on the proximity of the target subspace and the source subspace as given by the pretrained source model or the source data. This optimization is solved by eigendecomposition for which the number of data-dependent eigenvectors (i.e., principal directions of TL-PCA) is not limited to the number of target data examples, which is a root cause that limits the standard PCA performance. Accordingly, our results for image datasets show that the representation of test data is improved by TL-PCA for dimensionality reduction where the learned subspace dimension is lower or higher than the number of target data examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google