Designed Dithering Sign Activation for Binary Neural Networks

要約

バイナリニューラルネットワークは、ネットワークの重みまたは活性化のいずれかを2値化することで、コンピュータビジョンタスクのためのコスト効率とエネルギー効率の高いソリューションとして登場した。しかし、符号活性化関数のような一般的な2値活性化は、単一の閾値で値を急激に2値化するため、特徴量出力のきめ細かな詳細が失われる。本研究では、ディザリングの原理に従って複数の閾値を適用する活性化を提案し、空間的に周期的な閾値カーネルに従って各画素のSign活性化関数をシフトさせる。文献の手法とは異なり、空間的相関を利用して、隣接する画素の集合に対して共同でシフトを定義する。分類課題に対する実験により、設計されたディザリングSign活性化関数が、計算コストを増加させることなく、2値ニューラルネットワークの代替活性化として有効であることが実証された。さらに、DeSignは細部の保存と2値演算の効率のバランスをとる。

要約(オリジナル)

Binary Neural Networks emerged as a cost-effective and energy-efficient solution for computer vision tasks by binarizing either network weights or activations. However, common binary activations, such as the Sign activation function, abruptly binarize the values with a single threshold, losing fine-grained details in the feature outputs. This work proposes an activation that applies multiple thresholds following dithering principles, shifting the Sign activation function for each pixel according to a spatially periodic threshold kernel. Unlike literature methods, the shifting is defined jointly for a set of adjacent pixels, taking advantage of spatial correlations. Experiments over the classification task demonstrate the effectiveness of the designed dithering Sign activation function as an alternative activation for binary neural networks, without increasing the computational cost. Further, DeSign balances the preservation of details with the efficiency of binary operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL