A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network

要約

バイナリ ニューラル ネットワークは、1 ビットの量子化された重みとアクティベーションを利用して、モデルのストレージ需要と計算負荷の両方を軽減します。
しかし、高度なバイナリ アーキテクチャには、依然として何百万もの非効率的でハードウェアに適さない完全精度の乗算演算が組み込まれています。
A&B BNN は、従来の BNN の乗算演算の一部を直接削除し、残りを同数のビット演算に置き換えることが提案されており、マスク層とノーマライザーフリーのネットワーク アーキテクチャに基づく量子化 RPReLU 構造が導入されています。
マスク層は、BNN の固有の特性を利用して直接的な数学的変換を行うことで、推論中に削除でき、関連する乗算演算を回避できます。
量子化された RPReLU 構造は、その傾きを 2 の整数乗に制限することで、より効率的なビット操作を可能にします。実験結果は、CIFAR-10、CIFAR-100、および ImageNet データセットでそれぞれ 92.30%、69.35%、および 66.89% を達成しました。
最先端のものと競争できる。
アブレーション研究では、量子化 RPReLU 構造の有効性が検証されており、固定勾配 RLeakyReLU を使用した場合と比較して、ImageNet で 1.14% の向上が得られます。
提案された add&bit 操作専用 BNN は、ハードウェアに優しいネットワーク アーキテクチャのための革新的なアプローチを提供します。

要約(オリジナル)

Binary neural networks utilize 1-bit quantized weights and activations to reduce both the model’s storage demands and computational burden. However, advanced binary architectures still incorporate millions of inefficient and nonhardware-friendly full-precision multiplication operations. A&B BNN is proposed to directly remove part of the multiplication operations in a traditional BNN and replace the rest with an equal number of bit operations, introducing the mask layer and the quantized RPReLU structure based on the normalizer-free network architecture. The mask layer can be removed during inference by leveraging the intrinsic characteristics of BNN with straightforward mathematical transformations to avoid the associated multiplication operations. The quantized RPReLU structure enables more efficient bit operations by constraining its slope to be integer powers of 2. Experimental results achieved 92.30%, 69.35%, and 66.89% on the CIFAR-10, CIFAR-100, and ImageNet datasets, respectively, which are competitive with the state-of-the-art. Ablation studies have verified the efficacy of the quantized RPReLU structure, leading to a 1.14% enhancement on the ImageNet compared to using a fixed slope RLeakyReLU. The proposed add&bit-operation-only BNN offers an innovative approach for hardware-friendly network architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google