LAB: Learnable Activation Binarizer for Binary Neural Networks

要約

バイナリ ニューラル ネットワーク (BNN) は、電力を消費するディープ ラーニングをエッジ デバイスにもたらすことで注目を集めています。
この分野の伝統的な知恵は、featuremap を 2 値化するために sign() を使用することです。
sign() が一意性のボトルネックであり、ネットワーク全体での情報の伝播を制限していることを主張し、説明します。
これを軽減するために、sign() をディスペンスし、学習可能なアクティベーション バイナライザー (LAB) に置き換えることを提案します。これにより、ネットワークは、グローバルなしきい値処理とは対照的に、レイヤーごとにきめの細かい 2 値化カーネルを学習できます。
LAB は、既存のアーキテクチャにシームレスに統合できる新しいユニバーサル モジュールです。
これを確認するために、それを 4 つの独創的な BNN にプラグインし、許容できる遅延と複雑さの増加を犠牲にして、パフォーマンスが大幅に向上することを示します。
最後に、LAB を中心にエンドツーエンドの BNN (LAB-BNN と呼ばれる造語) を構築し、ImageNet の最先端技術と同等の競争力のあるパフォーマンスを達成することを実証します。

要約(オリジナル)

Binary Neural Networks (BNNs) are receiving an upsurge of attention for bringing power-hungry deep learning towards edge devices. The traditional wisdom in this space is to employ sign() for binarizing featuremaps. We argue and illustrate that sign() is a uniqueness bottleneck, limiting information propagation throughout the network. To alleviate this, we propose to dispense sign(), replacing it with a learnable activation binarizer (LAB), allowing the network to learn a fine-grained binarization kernel per layer – as opposed to global thresholding. LAB is a novel universal module that can seamlessly be integrated into existing architectures. To confirm this, we plug it into four seminal BNNs and show a considerable performance boost at the cost of tolerable increase in delay and complexity. Finally, we build an end-to-end BNN (coined as LAB-BNN) around LAB, and demonstrate that it achieves competitive performance on par with the state-of-the-art on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google