Variations of Squeeze and Excitation networks

要約

畳み込みニューラルネットワークは空間的特徴を学習し、カーネル内で大きく相互リンクしている。SEモジュールは、ニューラルネットワークが結果全体を次のレイヤーに渡すという従来のルートを打ち破った。その代わりにSEは、そのスクイーズと励起（SE）モジュールで学習すべき重要な特徴のみを渡す。我々は、スクイーズと励起のプロセスを改善し、性能を向上させるSEモジュールのバリエーションを提案する。提案するスクイーズや励起は、層の重みのスムーズな遷移を可能にする。これらの提案するバリエーションは、SEモジュールの特性も保持している。実験結果を残差ネットワークで実施し、結果を表にしている。

要約(オリジナル)

Convolutional neural networks learns spatial features and are heavily interlinked within kernels. The SE module have broken the traditional route of neural networks passing the entire result to next layer. Instead SE only passes important features to be learned with its squeeze and excitation (SE) module. We propose variations of the SE module which improvises the process of squeeze and excitation and enhances the performance. The proposed squeezing or exciting the layer makes it possible for having a smooth transition of layer weights. These proposed variations also retain the characteristics of SE module. The experimented results are carried out on residual networks and the results are tabulated.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL