Designed Dithering Sign Activation for Binary Neural Networks

要約

バイナリ ニューラル ネットワークは、ネットワークの重みまたはアクティベーションを 2 値化することにより、コンピュータ ビジョン タスク向けのコスト効率とエネルギー効率の高いソリューションとして登場しました。
ただし、Sign アクティベーション関数などの一般的なバイナリ アクティベーションでは、単一のしきい値で値が突然 2 値化され、特徴出力のきめ細かい詳細が失われます。
この研究では、ディザリング原理に従って複数の閾値を適用し、空間的に周期的な閾値カーネルに従って各ピクセルの符号活性化関数をシフトする活性化を提案しています。
文献の方法とは異なり、シフトは空間相関を利用して隣接するピクセルのセットに対して一緒に定義されます。
分類タスクの実験では、計算コストを増加させることなく、バイナリ ニューラル ネットワークの代替活性化として設計されたディザリング サイン活性化関数の有効性を実証します。
さらに、DeSign は、詳細の保存とバイナリ演算の効率のバランスをとります。

要約(オリジナル)

Binary Neural Networks emerged as a cost-effective and energy-efficient solution for computer vision tasks by binarizing either network weights or activations. However, common binary activations, such as the Sign activation function, abruptly binarize the values with a single threshold, losing fine-grained details in the feature outputs. This work proposes an activation that applies multiple thresholds following dithering principles, shifting the Sign activation function for each pixel according to a spatially periodic threshold kernel. Unlike literature methods, the shifting is defined jointly for a set of adjacent pixels, taking advantage of spatial correlations. Experiments over the classification task demonstrate the effectiveness of the designed dithering Sign activation function as an alternative activation for binary neural networks, without increasing the computational cost. Further, DeSign balances the preservation of details with the efficiency of binary operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google