SIRe-Networks: Convolutional Neural Networks Architectural Extension for Information Preservation via Skip/Residual Connections and Interlaced Auto-Encoders

要約

既存のニューラル ネットワーク アーキテクチャを改善するには、損失関数の操作、多様な学習戦略の採用、トレーニング時の勾配進化の利用、ネットワーク ハイパーパラメーターの最適化、アーキテクチャの深さの増加など、いくつかの設計上の選択が必要になる場合があります。
後者のアプローチは、ネットワークの表現能力を直接強化するため、単純なソリューションです。
ただし、深さの増加は一般に、よく知られている勾配消失問題を引き起こします。
この論文では、この問題に対処するさまざまな方法から借用して、オブジェクト分類タスクに関連して消失勾配を減らすために、SIRe と定義されたインターレース マルチタスク学習戦略を紹介します。
提示された方法論は、インターレース オート エンコーダー (AE) を介して入力画像からの情報を保存することにより、畳み込みニューラル ネットワーク (CNN) を直接改善し、スキップおよび残差接続によってベース ネットワーク アーキテクチャをさらに改良します。
提示された方法論を検証するために、単純な CNN と有名なネットワークのさまざまな実装が SIRe 戦略を介して拡張され、5 つのコレクション、つまり MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100、および Caltech-256 で広範囲にテストされます。
SIRe拡張アーキテクチャは、すべてのモデルとデータセットでパフォーマンスを大幅に向上させ、提示されたアプローチの有効性を確認します。

要約(オリジナル)

Improving existing neural network architectures can involve several design choices such as manipulating the loss functions, employing a diverse learning strategy, exploiting gradient evolution at training time, optimizing the network hyper-parameters, or increasing the architecture depth. The latter approach is a straightforward solution, since it directly enhances the representation capabilities of a network; however, the increased depth generally incurs in the well-known vanishing gradient problem. In this paper, borrowing from different methods addressing this issue, we introduce an interlaced multi-task learning strategy, defined SIRe, to reduce the vanishing gradient in relation to the object classification task. The presented methodology directly improves a convolutional neural network (CNN) by preserving information from the input image through interlaced auto-encoders (AEs), and further refines the base network architecture by means of skip and residual connections. To validate the presented methodology, a simple CNN and various implementations of famous networks are extended via the SIRe strategy and extensively tested on five collections, i.e., MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, and Caltech-256; where the SIRe-extended architectures achieve significantly increased performances across all models and datasets, thus confirming the presented approach effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google