Distribution-sensitive Information Retention for Accurate Binary Neural Network

要約

モデルの 2 値化は、ニューラル ネットワークを圧縮し、推論プロセスを高速化する効果的な方法です。
ただし、1 ビット モデルと 32 ビット モデルの間には、依然として大きなパフォーマンス ギャップが存在します。
実証研究は、2 値化が順方向および逆方向の伝搬で大きな情報損失を引き起こすことを示しています。
内部伝播を改善し、外部表現を導入することにより、前方および後方伝播で情報を保持する、新しい分布に敏感な情報保持ネットワーク (DIR-Net) を提示します。
DIR-Net は、主に次の 3 つの技術的貢献に依存しています。
(2) 分布に敏感な 2 段階推定器 (DTE): 更新能力と正確な勾配を一緒に考慮することにより、分布に敏感な軟近似によって勾配の情報を保持します。
(3) Representation-align Binarization-aware Distillation (RBD): 完全精度ネットワークと二値化ネットワークの間で表現を抽出することにより、表現情報を保持します。
DIR-Net は、統合された情報の観点から BNN の前方プロセスと後方プロセスの両方を調査し、それによってネットワーク 2 値化のメカニズムに新しい洞察を提供します。
DIR-Net の 3 つの手法は用途が広く効果的であり、さまざまな構造に適用して BNN を改善できます。
画像分類と客観的検出タスクに関する包括的な実験により、当社の DIR-Net は、ResNet、VGG、EfficientNet、DARTS、MobileNet などの主流でコンパクトなアーキテクチャの下で、最先端の二値化アプローチよりも一貫して優れていることが示されています。
さらに、11.1 倍のストレージ節約と 5.4 倍のスピードアップを実現する、実世界のリソースに制限のあるデバイスで DIR-Net を実行します。

要約(オリジナル)

Model binarization is an effective method of compressing neural networks and accelerating their inference process. However, a significant performance gap still exists between the 1-bit model and the 32-bit one. The empirical study shows that binarization causes a great loss of information in the forward and backward propagation. We present a novel Distribution-sensitive Information Retention Network (DIR-Net) that retains the information in the forward and backward propagation by improving internal propagation and introducing external representations. The DIR-Net mainly relies on three technical contributions: (1) Information Maximized Binarization (IMB): minimizing the information loss and the binarization error of weights/activations simultaneously by weight balance and standardization; (2) Distribution-sensitive Two-stage Estimator (DTE): retaining the information of gradients by distribution-sensitive soft approximation by jointly considering the updating capability and accurate gradient; (3) Representation-align Binarization-aware Distillation (RBD): retaining the representation information by distilling the representations between full-precision and binarized networks. The DIR-Net investigates both forward and backward processes of BNNs from the unified information perspective, thereby providing new insight into the mechanism of network binarization. The three techniques in our DIR-Net are versatile and effective and can be applied in various structures to improve BNNs. Comprehensive experiments on the image classification and objective detection tasks show that our DIR-Net consistently outperforms the state-of-the-art binarization approaches under mainstream and compact architectures, such as ResNet, VGG, EfficientNet, DARTS, and MobileNet. Additionally, we conduct our DIR-Net on real-world resource-limited devices which achieves 11.1x storage saving and 5.4x speedup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google