SiMaN: Sign-to-Magnitude Network Binarization

要約

バイナリニューラルネットワーク(BNN)は、効率的な記憶と計算能力により、幅広い研究者の関心を集めている。しかし、BNNの重要な課題は、ビットエントロピーを最大化しつつ離散制約を扱うことにあり、一般に重みの最適化が非常に困難であることである。既存の手法では、符号関数を用いて学習を緩和し、正の重みを単純に+1、それ以外は-1にエンコードしている。あるいは、角度の整列目的を定式化し、重みの2値化を{0,+1}に拘束することで課題を解決する。本論文では、我々の重み2値化が、高倍率の重みを+1sに、それ以外は0sに符号化することにより、解析的な解を与えることを示す。そのため、符号関数を用いない計算効率の良い方法で高品質な離散解が確立される。我々は、2値化されたネットワークの学習済み重みがエントロピー最大化を許さないラプラシアン分布にほぼ従うことを証明し、さらに、ネットワーク学習時に$temptaell_2$正則化を除去するだけで効果的に解決できることを実証する。符号-振幅ネットワーク2値化(SiMaN)と名付けられた我々の手法は、CIFAR-10とImageNetで評価され、符号ベースの最先端技術に対する優位性を実証している。我々のソースコード、実験設定、学習ログ、バイナリモデルは https://github.com/lmbxmu/SiMaN で公開されています。

要約(オリジナル)

Binary neural networks (BNNs) have attracted broad research interest due to their efficient storage and computational ability. Nevertheless, a significant challenge of BNNs lies in handling discrete constraints while ensuring bit entropy maximization, which typically makes their weight optimization very difficult. Existing methods relax the learning using the sign function, which simply encodes positive weights into +1s, and -1s otherwise. Alternatively, we formulate an angle alignment objective to constrain the weight binarization to {0,+1} to solve the challenge. In this paper, we show that our weight binarization provides an analytical solution by encoding high-magnitude weights into +1s, and 0s otherwise. Therefore, a high-quality discrete solution is established in a computationally efficient manner without the sign function. We prove that the learned weights of binarized networks roughly follow a Laplacian distribution that does not allow entropy maximization, and further demonstrate that it can be effectively solved by simply removing the $\ell_2$ regularization during network training. Our method, dubbed sign-to-magnitude network binarization (SiMaN), is evaluated on CIFAR-10 and ImageNet, demonstrating its superiority over the sign-based state-of-the-arts. Our source code, experimental settings, training logs and binary models are available at https://github.com/lmbxmu/SiMaN.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL