A foundation for exact binarized morphological neural networks

要約

ディープ ニューラル ネットワーク (NN) のトレーニングと実行には、多くの場合、大量の計算とエネルギー集約型の特殊なハードウェア (GPU、TPU など) が必要になります。
計算コストと電力コストを削減する 1 つの方法は、バイナリ重み NN を使用することですが、符号関数の勾配が滑らかではないため、これらをトレーニングするのは困難です。
我々は、特定の条件下でパフォーマンスを失うことなく ConvNet を 2 値化できる数学的形態学 (MM) に基づくモデルを紹介します。しかし、これらの条件は現実のシナリオでは満たすのが簡単ではない可能性があります。
これを解決するために、2 つの新しい近似方法を提案し、MM を使用した ConvNets 2 値化のための堅牢な理論的フレームワークを開発します。
最適化を改善するために、正則化損失も提案します。
私たちのモデルが複雑な形態学的ネットワークを学習し、分類タスクでのパフォーマンスを調査できることを経験的に示します。

要約(オリジナル)

Training and running deep neural networks (NNs) often demands a lot of computation and energy-intensive specialized hardware (e.g. GPU, TPU…). One way to reduce the computation and power cost is to use binary weight NNs, but these are hard to train because the sign function has a non-smooth gradient. We present a model based on Mathematical Morphology (MM), which can binarize ConvNets without losing performance under certain conditions, but these conditions may not be easy to satisfy in real-world scenarios. To solve this, we propose two new approximation methods and develop a robust theoretical framework for ConvNets binarization using MM. We propose as well regularization losses to improve the optimization. We empirically show that our model can learn a complex morphological network, and explore its performance on a classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google