Binarizing by Classification: Is soft function really necessary?

要約

バイナリニューラルネットワークは$Sign$関数を用いて実数値を2値化しますが、その非微分性はバックプロパゲーション時に大きな勾配誤差をもたらすことが必至です。勾配を近似するために多くのソフト関数が提案されているが、そのメカニズムは明らかではなく、バイナリモデルと全精度のモデルとの間には依然として大きな性能差が存在する。そこで、我々はネットワークの2値化を2値分類問題として取り組み、分類器として多層パーセプトロン（MLP）を用いることを提案する。MLPに基づく分類器は、理論的に任意の連続関数に適合することができ、特定のソフト関数なしにネットワークの2値化とバックプロパゲート勾配を適応的に学習させる。このような観点から、さらに、単純な線形関数であっても、これまでの複雑なソフト関数を凌駕することができることを実験的に証明する。広範な実験により、提案手法は画像分類と人間の姿勢推定タスクの両方において驚くべき性能をもたらすことが実証された。具体的には、ImageNetデータセットにおいて、ResNet-34のトップ1精度65.7%を達成し、2.8%の絶対的な向上を実現した。また、難易度の高いMicrosoft COCO keypointデータセットで評価したところ、提案手法によりバイナリネットワークが初めてmAP 60.6を達成し、いくつかの全精度手法と同程度の精度を実現することができました。

要約(オリジナル)

Binary neural network leverages the $Sign$ function to binarize real values, and its non-derivative property inevitably brings huge gradient errors during backpropagation. Although many hand-designed soft functions have been proposed to approximate gradients, their mechanism is not clear and there are still huge performance gaps between binary models and their full-precision counterparts. To address this, we propose to tackle network binarization as a binary classification problem and use a multi-layer perceptron (MLP) as the classifier. The MLP-based classifier can fit any continuous function theoretically and is adaptively learned to binarize networks and backpropagate gradients without any specific soft function. With this view, we further prove experimentally that even a simple linear function can outperform previous complex soft functions. Extensive experiments demonstrate that the proposed method yields surprising performance both in image classification and human pose estimation tasks. Specifically, we achieve 65.7% top-1 accuracy of ResNet-34 on ImageNet dataset, with an absolute improvement of 2.8%. When evaluating on the challenging Microsoft COCO keypoint dataset, the proposed method enables binary networks to achieve a mAP of 60.6 for the first time, on par with some full-precision methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL