Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity

要約

この論文では、さまざまなハイパーパラメータ構成の下でのニューラル ネットワークの単純化特性を理解することに焦点を当てた実験研究を紹介し、特に Lempel Ziv の複雑さと感度への影響を調査しました。
この研究では、活性化関数、隠れ層、学習率などの主要なハイパーパラメータを調整することで、これらのパラメータがネットワーク出力の複雑さと入力摂動に対する堅牢性にどのような影響を与えるかを評価します。
MNIST データセットを使用して行われた実験は、ハイパーパラメーター、複雑さ、感度の間の関係についての洞察を提供することを目的としており、ニューラル ネットワークにおけるこれらの概念のより深い理論的理解に貢献します。

要約(オリジナル)

This paper presents an experimental study focused on understanding the simplification properties of neural networks under different hyperparameter configurations, specifically investigating the effects on Lempel Ziv complexity and sensitivity. By adjusting key hyperparameters such as activation functions, hidden layers, and learning rate, this study evaluates how these parameters impact the complexity of network outputs and their robustness to input perturbations. The experiments conducted using the MNIST dataset aim to provide insights into the relationships between hyperparameters, complexity, and sensitivity, contributing to a deeper theoretical understanding of these concepts in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google