Boosting the performance of deep learning: A gradient Boosting approach to training convolutional and deep neural network

要約

ディープ ラーニングは、コンピューター ビジョンと画像分類の分野に革命をもたらしました。
このコンテキストでは、畳み込みニューラル ネットワーク (CNN) ベースのアーキテクチャが最も広く適用されているモデルです。
この記事では、畳み込みニューラル ネットワーク (CNN) と勾配ブースティング (GB) に基づくディープ ニューラル ネットワークをトレーニングするための 2 つの手順、すなわち GB-CNN と GB-DNN を紹介しました。
これらのモデルは、前のモデルの損失関数または疑似残差の勾配に適合するようにトレーニングされます。
反復ごとに、提案された方法は、以前の深層 NN モデルの正確なコピーに 1 つの高密度レイヤーを追加します。
以前の反復でトレーニングされた密層の重みは固定されて過適合を防ぎ、モデルが新しい密層に適合し、畳み込み層 (GB-CNN の場合) を微調整しながら、既に学習した情報を利用できるようにします。
さまざまな 2D 画像分類と表形式のデータセットに関する広範な実験を通じて、提示されたモデルは、同じアーキテクチャの標準 CNN および Deep-NN に関して、分類精度の点で優れたパフォーマンスを示しています。

要約(オリジナル)

Deep learning has revolutionized the computer vision and image classification domains. In this context Convolutional Neural Networks (CNNs) based architectures are the most widely applied models. In this article, we introduced two procedures for training Convolutional Neural Networks (CNNs) and Deep Neural Network based on Gradient Boosting (GB), namely GB-CNN and GB-DNN. These models are trained to fit the gradient of the loss function or pseudo-residuals of previous models. At each iteration, the proposed method adds one dense layer to an exact copy of the previous deep NN model. The weights of the dense layers trained on previous iterations are frozen to prevent over-fitting, permitting the model to fit the new dense as well as to fine-tune the convolutional layers (for GB-CNN) while still utilizing the information already learned. Through extensive experimentation on different 2D-image classification and tabular datasets, the presented models show superior performance in terms of classification accuracy with respect to standard CNN and Deep-NN with the same architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google