Structured Binary Neural Networks for Image Recognition

要約

我々は、2値化された重みと活性度の両方を持つ畳み込みニューラルネットワーク（CNN）を訓練する方法を提案し、電力容量と計算資源が限られたモバイルデバイスに特に優しい量子化モデルを導く。CNNの量子化に関するこれまでの研究では、浮動小数点情報を離散値の集合を使って近似することが多く、これを値近似と呼びますが、通常、全精度のネットワークと同じアーキテクチャを想定しています。ここでは、量子化について新しい「構造近似」的な見方をする。低ビットネットワークのために設計された異なるアーキテクチャの方が、良い性能を達成できる可能性が非常に高いのである。特に、ネットワークをグループに分割する、グループネットと呼ばれる「ネットワーク分解」戦略を提案する。これにより、各全精度のグループは、均質な2値分岐の集合を集約することで効果的に再構成される。さらに、グループ間の効果的な接続を学習し、表現能力を向上させる。さらに、提案するGroup-Netは、他のタスクに対しても強い汎用性を示す。例えば、2値構造に豊富な文脈を埋め込むことにより、正確な意味的セグメンテーションのためにGroup-Netを拡張する。さらに、我々は初めてバイナリニューラルネットワークを物体検出に適用した。分類、セマンティックセグメンテーション、オブジェクト検出の両タスクに対する実験により、提案手法が文献にある様々な量子化ネットワークよりも優れた性能を持つことが示された。我々の手法は、精度と計算効率の点で、これまでの最良の2値ニューラルネットワークを凌駕する。

要約(オリジナル)

We propose methods to train convolutional neural networks (CNNs) with both binarized weights and activations, leading to quantized models that are specifically friendly to mobile devices with limited power capacity and computation resources. Previous works on quantizing CNNs often seek to approximate the floating-point information using a set of discrete values, which we call value approximation, typically assuming the same architecture as the full-precision networks. Here we take a novel ‘structure approximation’ view of quantization — it is very likely that different architectures designed for low-bit networks may be better for achieving good performance. In particular, we propose a ‘network decomposition’ strategy, termed Group-Net, in which we divide the network into groups. Thus, each full-precision group can be effectively reconstructed by aggregating a set of homogeneous binary branches. In addition, we learn effective connections among groups to improve the representation capability. Moreover, the proposed Group-Net shows strong generalization to other tasks. For instance, we extend Group-Net for accurate semantic segmentation by embedding rich context into the binary structure. Furthermore, for the first time, we apply binary neural networks to object detection. Experiments on both classification, semantic segmentation and object detection tasks demonstrate the superior performance of the proposed methods over various quantized networks in the literature. Our methods outperform the previous best binary neural networks in terms of accuracy and computation efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL