Elastic-Link for Binarized Neural Network

要約

最近の研究では、バイナリ化されたニューラル ネットワーク (BNN) が計算コストとメモリ フットプリントを大幅に削減できることが示されており、リソースに制約のあるデバイスでのモデルの展開が容易になります。
ただし、完全精度のものと比較すると、BNN は精度が大幅に低下します。
この精度のギャップを減らすことを目的とした研究は、これまでのところ、1×1 畳み込み層がほとんどまたはまったくない特定のネットワーク アーキテクチャに主に焦点を当ててきました。
1×1 畳み込みは、最新のアーキテクチャ (GoogleNet、ResNet、DenseNet など) の設計では一般的であるため、BNN がより広く採用されるように効果的にバイナリ化する方法を開発することが重要です。
この作業では、実数値の入力機能を後続の畳み込み出力機能に適応的に追加することにより、BNN 内の情報フローを強化する「Elastic-Link」(EL) モジュールを提案します。
提案された EL モジュールは簡単に実装でき、BNN の他の方法と組み合わせて使用​​できます。
EL を BNN に追加すると、困難な大規模な ImageNet データセットが大幅に改善されることを示します。
たとえば、2 値化された ResNet26 の上位 1 精度を 57.9% から 64.0% に上げます。
EL は、2 値化された MobileNet のトレーニングの収束にも役立ち、56.4% のトップ 1 精度が達成されます。
最後に、ReActNet の統合により、71.9% のトップ 1 精度という新しい最先端の結果が得られます。

要約(オリジナル)

Recent work has shown that Binarized Neural Networks (BNNs) are able to greatly reduce computational costs and memory footprints, facilitating model deployment on resource-constrained devices. However, in comparison to their full-precision counterparts, BNNs suffer from severe accuracy degradation. Research aiming to reduce this accuracy gap has thus far largely focused on specific network architectures with few or no 1×1 convolutional layers, for which standard binarization methods do not work well. Because 1×1 convolutions are common in the design of modern architectures (e.g. GoogleNet, ResNet, DenseNet), it is crucial to develop a method to binarize them effectively for BNNs to be more widely adopted. In this work, we propose an ‘Elastic-Link’ (EL) module to enrich information flow within a BNN by adaptively adding real-valued input features to the subsequent convolutional output features. The proposed EL module is easily implemented and can be used in conjunction with other methods for BNNs. We demonstrate that adding EL to BNNs produces a significant improvement on the challenging large-scale ImageNet dataset. For example, we raise the top-1 accuracy of binarized ResNet26 from 57.9% to 64.0%. EL also aids convergence in the training of binarized MobileNet, for which a top-1 accuracy of 56.4% is achieved. Finally, with the integration of ReActNet, it yields a new state-of-the-art result of 71.9% top-1 accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google