Efficient Hyperparameter Importance Assessment for CNNs

要約

ハイパーパラメータの選択は機械学習パイプラインの重要な側面であり、モデルの堅牢性、安定性、一般化機能に大きな影響を与えます。
ニューラル ネットワークに関連する複雑なハイパーパラメータ空間と、計算リソースと時間の制約を考慮すると、すべてのハイパーパラメータを最適化することは非現実的になります。
この文脈では、ハイパーパラメータ重要性評価 (HIA) を活用すると、検索スペースを絞り込むことで貴重なガイダンスを提供できます。
これにより、機械学習の実践者は、時間とリソースを節約しながら、モデルのパフォーマンスに最も大きな影響を与えるハイパーパラメーターに最適化の取り組みを集中させることができます。
この論文は、N-RReliefF と呼ばれるアルゴリズムを使用して畳み込みニューラル ネットワーク (CNN) の一部のハイパーパラメーターの重要度の重みを定量化し、深層学習分野で HIA 手法を適用するための基礎を築くことを目的としています。
私たちは、10 の一般的な画像分類データセットにわたって 1 万を超える CNN モデルをトレーニングすることで広範な調査を実施し、それによってハイパーパラメーター構成インスタンスとそれに対応するパフォーマンス メトリックを含む包括的なデータセットを取得します。
調査されたハイパーパラメータのうち、CNN モデルの重要なハイパーパラメータのトップ 5 は、畳み込み層の数、学習率、ドロップアウト率、オプティマイザ、およびエポックであることが実証されています。

要約(オリジナル)

Hyperparameter selection is an essential aspect of the machine learning pipeline, profoundly impacting models’ robustness, stability, and generalization capabilities. Given the complex hyperparameter spaces associated with Neural Networks and the constraints of computational resources and time, optimizing all hyperparameters becomes impractical. In this context, leveraging hyperparameter importance assessment (HIA) can provide valuable guidance by narrowing down the search space. This enables machine learning practitioners to focus their optimization efforts on the hyperparameters with the most significant impact on model performance while conserving time and resources. This paper aims to quantify the importance weights of some hyperparameters in Convolutional Neural Networks (CNNs) with an algorithm called N-RReliefF, laying the groundwork for applying HIA methodologies in the Deep Learning field. We conduct an extensive study by training over ten thousand CNN models across ten popular image classification datasets, thereby acquiring a comprehensive dataset containing hyperparameter configuration instances and their corresponding performance metrics. It is demonstrated that among the investigated hyperparameters, the top five important hyperparameters of the CNN model are the number of convolutional layers, learning rate, dropout rate, optimizer and epoch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google