Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks

要約

タイトル：Deep Convolutional Neural Networksを使用したレイヤー間訓練と従来の訓練の比較

要約：

– CNNは、データから特徴を抽出する効果的なツールであり、構造とトレーニングプロセスによって性能が大きく影響される。
– 本研究では、レイヤー間トレーニング法を提案し、従来のトレーニング法との性能比較を行う。
– レイヤー間トレーニングのアプローチでは、初期の一部のレイヤーをスチューデントネットワーク、後のレイヤーをティーチャーネットワークとして扱い、学習ステップごとに、スチューデントネットワークがティーチャーネットワークの出力から学習するように徐々に学習する。
– VGG16、ResNext、DenseNetネットワーク、ImageNetの事前学習ウェイトなしの通常のCNNモデルで、レイヤー間トレーニング法を使用して評価を行った。
– 本実験では、レイヤー間トレーニング法が通常のトレーニング法よりも優れた性能を発揮した。
– VGG16、ResNext、DeseNetネットワーク、CNNモデルにおいて、レイヤー間トレーニングを使用した場合に、テストセットにおいて高い精度が得られた。
– 本研究は、CNNにおける層毎のトレーニングの重要性を説明し、層間学習がCNNの精度向上に有望なアプローチであることを示唆している。

要約(オリジナル)

Title: Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks Abstract: Convolutional neural networks (CNNs) are widely used in various applications due to their effectiveness in extracting features from data. However, the performance of a CNN heavily depends on its architecture and training process. In this study, we propose a layer-to-layer training method and compare its performance with the conventional training method. In the layer-to-layer training approach, we treat a portion of the early layers as a student network and the later layers as a teacher network. During each training step, we incrementally train the student network to learn from the output of the teacher network, and vice versa. We evaluate this approach on VGG16, ResNext, and DenseNet networks without pre-trained ImageNet weights and a regular CNN model. Our experiments show that the layer-to-layer training method outperforms the conventional training method for both models. Specifically, we achieve higher accuracy on the test set for the VGG16, ResNext, and DeseNet networks and the CNN model using layer-to-layer training compared to the conventional training method. Overall, our study highlights the importance of layer-wise training in CNNs and suggests that layer-to-layer training can be a promising approach for improving the accuracy of CNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI