SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization

要約

畳み込みニューラル ネットワーク (CNN) は、階層アーキテクチャに基づいて入力データの並進不変分類を実行する畳み込み計算を含む深層学習アルゴリズムの代表的なクラスです。
ただし、従来の畳み込みニューラル ネットワークの学習方法はトレーニングに最急降下アルゴリズムを使用し、学習パフォーマンスは畳み込み層と全結合層の初期の重み設定に大きく影響されるため、さまざまなモデル構造とデータの下でより良いパフォーマンスを実現するには再調整が必要です。
.
グローバル検索でシミュレーテッド アニーリング アルゴリズムの長所を組み合わせて、畳み込みニューラル ネットワーク (CNN) の有効性を高めるために、ハイパーパラメーター検索プロセスに適用することを提案します。
この論文では、Text-CNN ニューラル ネットワークに基づくテキスト分類タスク用の SA-CNN ニューラル ネットワークを紹介し、ハイパーパラメータ検索用のシミュレーテッド アニーリング アルゴリズムを実装します。
実験では、手動チューニングを使用した以前のモデルよりも高い分類精度を達成できることが実証されており、人間によるチューニングに比べて探索の時間とスペースが大幅に改善されています。

要約(オリジナル)

Convolutional neural networks (CNNs) are a representative class of deep learning algorithms including convolutional computation that perform translation-invariant classification of input data based on their hierarchical architecture. However, classical convolutional neural network learning methods use the steepest descent algorithm for training, and the learning performance is greatly influenced by the initial weight settings of the convolutional and fully connected layers, requiring re-tuning to achieve better performance under different model structures and data. Combining the strengths of the simulated annealing algorithm in global search, we propose applying it to the hyperparameter search process in order to increase the effectiveness of convolutional neural networks (CNNs). In this paper, we introduce SA-CNN neural networks for text classification tasks based on Text-CNN neural networks and implement the simulated annealing algorithm for hyperparameter search. Experiments demonstrate that we can achieve greater classification accuracy than earlier models with manual tuning, and the improvement in time and space for exploration relative to human tuning is substantial.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google