A Lightweight Randomized Nonlinear Dictionary Learning Method using Random Vector Functional Link

要約

カーネルベースの非線形辞書学習方法は、暗黙的な特徴マップによって取得された特徴空間で動作し、特異値分解 (SVD) のような計算量の多い演算から独立していません。
この論文では、Random Vector Functional Link (RVFL) と呼ばれるランダム化された関数リンクを使用して、非線形辞書を学習するための SVD フリーの軽量アプローチを紹介します。
提案された RVFL ベースの非線形辞書学習 (RVFLDL) は、非線形のスパース係数から密な入力特徴へのスパースからデンスへの特徴マップとして辞書を学習します。
初期ランダム辞書に関するスパース係数は、ホースシュー事前分布が入力として使用されることを想定して導出され、軽量ネットワークになります。
RVFL は入力層から出力層への重みを分析的に生成するため、RVFL ベースの辞書のトレーニングには SVD 計算が必要ありません。
入力スパース係数と辞書アトムの間の高次の依存関係は、スパース係数を非線形変換し、拡張された特徴として追加することによってトレーニング プロセスに組み込まれます。
したがって、この方法は、辞書に非線形性を導入しながら、スパース係数を高次元空間に投影します。
RVFL-net を使用した分類の場合、分類子行列は、非線形スパース係数をラベルにマッピングする変換として学習されます。
画像分類および再構成アプリケーションで説明されている方法の経験的証拠は、RVFLDL がスケーラブルであり、他の非線形辞書学習方法を使用して得られるものよりも優れたソリューションを提供することを示しています。

要約(オリジナル)

Kernel-based nonlinear dictionary learning methods operate in a feature space obtained by an implicit feature map, and they are not independent of computationally expensive operations like Singular Value Decomposition (SVD). This paper presents an SVD-free lightweight approach to learning a nonlinear dictionary using a randomized functional link called a Random Vector Functional Link (RVFL). The proposed RVFL-based nonlinear Dictionary Learning (RVFLDL) learns a dictionary as a sparse-to-dense feature map from nonlinear sparse coefficients to the dense input features. Sparse coefficients w.r.t an initial random dictionary are derived by assuming Horseshoe prior are used as inputs making it a lightweight network. Training the RVFL-based dictionary is free from SVD computation as RVFL generates weights from the input to the output layer analytically. Higher-order dependencies between the input sparse coefficients and the dictionary atoms are incorporated into the training process by nonlinearly transforming the sparse coefficients and adding them as enhanced features. Thus the method projects sparse coefficients to a higher dimensional space while inducing nonlinearities into the dictionary. For classification using RVFL-net, a classifier matrix is learned as a transform that maps nonlinear sparse coefficients to the labels. The empirical evidence of the method illustrated in image classification and reconstruction applications shows that RVFLDL is scalable and provides a solution better than those obtained using other nonlinear dictionary learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google