Soft Random Sampling: A Theoretical and Empirical Analysis

要約

ソフト ランダム サンプリング (SRS) は、大量のデータを扱う際に大規模なディープ ニューラル ネットワークを効率的にトレーニングするためのシンプルかつ効果的なアプローチです。
SRS は、各エポックの完全なデータ セットから置換してサブセットを均一にランダムに選択します。
この論文では、SRS の理論的および実証的分析を行います。
まず、データ範囲と占有率を含むサンプリングのダイナミクスを分析します。
次に、非凸目的関数での収束を調べ、収束率を与えます。
最後に、その汎化パフォーマンスを提供します。
私たちは、CIFAR10 での画像認識と Librispeech での自動音声認識および社内ペイロード データセットについて SRS を実験的に評価し、その有効性を実証します。
既存のコアセットベースのデータ選択方法と比較して、SRS は精度と効率のトレードオフが優れています。
特に実際の産業規模のデータセットでは、追加のコンピューティングコストをほとんどかけずに、大幅なスピードアップと競争力のあるパフォーマンスを実現する強力なトレーニング戦略であることが示されています。

要約(オリジナル)

Soft random sampling (SRS) is a simple yet effective approach for efficient training of large-scale deep neural networks when dealing with massive data. SRS selects a subset uniformly at random with replacement from the full data set in each epoch. In this paper, we conduct a theoretical and empirical analysis of SRS. First, we analyze its sampling dynamics including data coverage and occupancy. Next, we investigate its convergence with non-convex objective functions and give the convergence rate. Finally, we provide its generalization performance. We empirically evaluate SRS for image recognition on CIFAR10 and automatic speech recognition on Librispeech and an in-house payload dataset to demonstrate its effectiveness. Compared to existing coreset-based data selection methods, SRS offers a better accuracy-efficiency trade-off. Especially on real-world industrial scale data sets, it is shown to be a powerful training strategy with significant speedup and competitive performance with almost no additional computing cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google