Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition

要約

ディープ畳み込みニューラル ネットワーク (CNN) は、幅広い画像処理アプリケーションで非常に成功することが示されています。
ただし、モデル パラメーターの数が増加し、大量のトレーニング データの利用可能性が高まっているため、複雑な CNN を効率的にトレーニングするための並列化戦略が必要です。
著者らによる以前の研究では、ドメイン分解から大まかにインスピレーションを得た新しいモデル並列 CNN アーキテクチャが提案されました。
特に、新しいネットワーク アーキテクチャは、入力データをより小さなサブイメージに分解することに基づいています。
これらのサブイメージのそれぞれについて、比例して少ない数のパラメーターを持つローカル CNN が並行してトレーニングされ、結果として得られたローカル分類が第 2 ステップで高密度フィードフォワード ニューラル ネットワーク (DNN) によって集約されます。
現在の研究では、結果として得られる CNN-DNN アーキテクチャをより低コストの代替手段と比較して、ローカル分類を最終的なグローバルな決定に統合します。
さらに、事前にトレーニングされたローカル CNN のパラメーターが、後でトレーニングされるグローバル コヒーレント CNN-DNN モデルの初期値として使用される転移学習戦略を使用して、1 つのコヒーレント モデルとしてトレーニングされた CNN-DNN のパフォーマンスを調査します。
。

要約(オリジナル)

Deep convolutional neural networks (CNNs) have been shown to be very successful in a wide range of image processing applications. However, due to their increasing number of model parameters and an increasing availability of large amounts of training data, parallelization strategies to efficiently train complex CNNs are necessary. In previous work by the authors, a novel model parallel CNN architecture was proposed which is loosely inspired by domain decomposition. In particular, the novel network architecture is based on a decomposition of the input data into smaller subimages. For each of these subimages, local CNNs with a proportionally smaller number of parameters are trained in parallel and the resulting local classifications are then aggregated in a second step by a dense feedforward neural network (DNN). In the present work, we compare the resulting CNN-DNN architecture to less costly alternatives to combine the local classifications into a final, global decision. Additionally, we investigate the performance of the CNN-DNN trained as one coherent model as well as using a transfer learning strategy, where the parameters of the pre-trained local CNNs are used as initial values for a subsequently trained global coherent CNN-DNN model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google