INSTA-BNN: Binary Neural Network with INSTAnce-aware Threshold

要約

バイナリ ニューラル ネットワーク (BNN) は、ディープ ニューラル ネットワークのメモリ フットプリントと計算コストを削減するための有望なソリューションとして登場しましたが、アクティベーションと重みがバイナリ値に制限されるため、自由度が欠如し、品質が低下するという問題があります。
精度の低下を補うために、INSTAnce-aware Threshold を備えた Binary Neural Network (INSTA-BNN) と呼ばれる新しい BNN 設計を提案します。これは、入力依存またはインスタンスを意識した方法で量子化しきい値を動的に制御します。
私たちの観察によれば、高次統計は入力分布の特性を推定するための代表的な指標となりえます。
INSTA-BNN は、高次統計を含むさまざまな情報を考慮してしきい値を動的に調整するように設計されていますが、実際のデバイスでのオーバーヘッドを最小限に抑えるために慎重に最適化されています。
私たちの広範な調査により、INSTA-BNN は同等の計算コストで ImageNet 分類タスクにおいてベースラインを 3.0% および 2.8% 上回っており、ResNet-18 および MobileNetV1 ベースのモデルでそれぞれ 68.5% および 72.2% のトップ 1 精度を達成していることが示されています。

要約(オリジナル)

Binary Neural Networks (BNNs) have emerged as a promising solution for reducing the memory footprint and compute costs of deep neural networks, but they suffer from quality degradation due to the lack of freedom as activations and weights are constrained to the binary values. To compensate for the accuracy drop, we propose a novel BNN design called Binary Neural Network with INSTAnce-aware threshold (INSTA-BNN), which controls the quantization threshold dynamically in an input-dependent or instance-aware manner. According to our observation, higher-order statistics can be a representative metric to estimate the characteristics of the input distribution. INSTA-BNN is designed to adjust the threshold dynamically considering various information, including higher-order statistics, but it is also optimized judiciously to realize minimal overhead on a real device. Our extensive study shows that INSTA-BNN outperforms the baseline by 3.0% and 2.8% on the ImageNet classification task with comparable computing cost, achieving 68.5% and 72.2% top-1 accuracy on ResNet-18 and MobileNetV1 based models, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google