Provable Data Subset Selection For Efficient Neural Network Training

要約

放射基底関数ニューラル ネットワーク (\emph{RBFNN}) は、十分な数の隠れニューロンが与えられた場合に、任意の精度で閉じた有界集合上の任意の連続関数を近似できることで{よく知られています}。
この論文では、\emph{RBFNN} のコアセットを構築する最初のアルゴリズムを紹介します。つまり、任意の動径基底関数ネットワーク上の入力データの損失を近似し、\emph{RBFNN によって定義される任意の関数を近似する小さな重み付きサブセットです。
より大きな入力データに対して。
特に、動径基底とラプラシアン損失関数のコアセットを構築します。
次に、コアセットを使用して、ディープ ニューラル ネットワークをトレーニングするための証明可能なデータ サブセット選択アルゴリズムを取得します。
私たちのコアセットはすべての関数を近似するため、入力の特定の関数であるニューラル ネットワークの各重みの勾配も近似します。
次に、一般的なネットワーク アーキテクチャとデータ セットで関数近似とデータセット サブセット選択に関する経験的評価を実行し、コアセット構築の有効性と精度を実証します。

要約(オリジナル)

Radial basis function neural networks (\emph{RBFNN}) are {well-known} for their capability to approximate any continuous function on a closed bounded set with arbitrary precision given enough hidden neurons. In this paper, we introduce the first algorithm to construct coresets for \emph{RBFNNs}, i.e., small weighted subsets that approximate the loss of the input data on any radial basis function network and thus approximate any function defined by an \emph{RBFNN} on the larger input data. In particular, we construct coresets for radial basis and Laplacian loss functions. We then use our coresets to obtain a provable data subset selection algorithm for training deep neural networks. Since our coresets approximate every function, they also approximate the gradient of each weight in a neural network, which is a particular function on the input. We then perform empirical evaluations on function approximation and dataset subset selection on popular network architectures and data sets, demonstrating the efficacy and accuracy of our coreset construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google