Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks

要約

このペーパーでは、さまざまなランダム化手法がディープ ニューラル ネットワーク (DNN) にどのような影響を与えるかを調査します。
重みノイズやドロップアウトなどのランダム化は、過剰適合を軽減し、一般化を強化するのに役立ちますが、それらの相互作用はほとんど理解されていません。
この研究では、ランダム性手法を 4 つのタイプに分類し、損失関数へのノイズの追加と勾配更新のランダム マスキングという新しい手法を提案しています。
ハイパーパラメータの最適化に Particle Swarm Optimizer (PSO) を使用して、MNIST、FASHION-MNIST、CIFAR10、および CIFAR100 データセットにわたる最適な構成を探索します。
30,000 を超える構成が評価され、主なパフォーマンスの要因としてデータ拡張と重み初期化のランダム性が明らかになりました。
相関分析により、さまざまなオプティマイザーが異なるランダム化タイプを好むことがわかります。
完全な実装とデータセットは GitHub で入手できます。

要約(オリジナル)

This paper investigates how various randomization techniques impact Deep Neural Networks (DNNs). Randomization, like weight noise and dropout, aids in reducing overfitting and enhancing generalization, but their interactions are poorly understood. The study categorizes randomness techniques into four types and proposes new methods: adding noise to the loss function and random masking of gradient updates. Using Particle Swarm Optimizer (PSO) for hyperparameter optimization, it explores optimal configurations across MNIST, FASHION-MNIST, CIFAR10, and CIFAR100 datasets. Over 30,000 configurations are evaluated, revealing data augmentation and weight initialization randomness as main performance contributors. Correlation analysis shows different optimizers prefer distinct randomization types. The complete implementation and dataset are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google