Enhancing the success rates by performing pooling decisions adjacent to the output layer

要約

(2^nx2^n) 入力の学習分類タスクは通常、フィードフォワード ディープ アーキテクチャ全体に沿った \le n (2×2) 最大プーリング (MP) 演算子で構成されます。
ここでは、CIFAR-10 データベースを使用して、最後の畳み込み層に隣接するプール決定が精度成功率 (SR) を大幅に向上させることを示します。
特に、m 層 (A-VGGm) アーキテクチャを持つ高度な VGG の平均 SR は、m=6、8、14、13、および 16 に対して、それぞれ 0.936、0.940、0.954、0.955、および 0.955 です。
結果は、A-VGG8 の SR が VGG16 よりも優れていること、および A-VGG13 と A-VGG16 の SR が等しく、Wide-ResNet16 の SR に匹敵することを示しています。
さらに、3 つの完全接続 (FC) 層を 1 つの FC 層、A-VGG6 および A-VGG14、またはいくつかの線形活性化 FC 層に置き換えると、同様の SR が得られました。
これらの大幅に強化された SR は、ディープ アーキテクチャに沿った複数の MP 決定に従って選択された下位ルートと比較して、最も影響力のある入出力ルートをトレーニングすることから生じます。
さらに、SR は、出力層に隣接する非可換 MP および平均プーリング演算子の順序に敏感であり、トレーニング ルートの数と場所を変化させます。
結果は、出力層に隣接する提案されたプーリング戦略を利用することにより、以前に提案された深いアーキテクチャとその SR の再検討を必要とします。

要約(オリジナル)

Learning classification tasks of (2^nx2^n) inputs typically consist of \le n (2×2) max-pooling (MP) operators along the entire feedforward deep architecture. Here we show, using the CIFAR-10 database, that pooling decisions adjacent to the last convolutional layer significantly enhance accuracy success rates (SRs). In particular, average SRs of the advanced VGG with m layers (A-VGGm) architectures are 0.936, 0.940, 0.954, 0.955, and 0.955 for m=6, 8, 14, 13, and 16, respectively. The results indicate A-VGG8s’ SR is superior to VGG16s’, and that the SRs of A-VGG13 and A-VGG16 are equal, and comparable to that of Wide-ResNet16. In addition, replacing the three fully connected (FC) layers with one FC layer, A-VGG6 and A-VGG14, or with several linear activation FC layers, yielded similar SRs. These significantly enhanced SRs stem from training the most influential input-output routes, in comparison to the inferior routes selected following multiple MP decisions along the deep architecture. In addition, SRs are sensitive to the order of the non-commutative MP and average pooling operators adjacent to the output layer, varying the number and location of training routes. The results call for the reexamination of previously proposed deep architectures and their SRs by utilizing the proposed pooling strategy adjacent to the output layer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google