How to train accurate BNNs for embedded systems?

要約

リソースに制約のある組み込みシステムに畳み込みニューラルネットワークを展開するための主要なイネーブラーは、バイナリニューラルネットワーク（BNN）です。
BNNは、機能と重みの両方を2値化することにより、メモリを節約し、計算を簡素化します。
残念ながら、2値化には、必然的に精度の大幅な低下が伴います。
バイナリネットワークと全精度ネットワークの間の精度のギャップを減らすために、最近多くの修復方法が提案されており、この章ではそれらを分類して1つの概要にまとめました。
修復方法は、トレーニング手法とネットワークトポロジの変更という、2つの主要なブランチに分けられ、さらに小さなカテゴリに分けることができます。
後者のカテゴリでは、組み込みシステムに追加のコスト（エネルギー消費または追加の領域）が発生しますが、前者では発生しません。
概要から、精度のギャップを減らすことで進歩が見られますが、BNNの論文は、高精度のBNNを取得するためにどの修復方法を使用すべきかについて一致していません。
したがって、この章には、ResNet-20 \＆CIFAR10およびResNet-18 \＆CIFAR100ベンチマークと比較して、多くの修復方法の利点を個別に評価する経験的レビューが含まれています。
3つの修復カテゴリが最も有益であることがわかりました。機能の二値化、機能の正規化、および二重残差です。
このレビューに基づいて、将来の方向性と研究の機会について話し合います。
組み込みシステムでのBNNに関連する利点とコストをスケッチします。これは、BNNが、リソースに制約のある組み込みシステムで高いエネルギー効率を維持しながら、精度のギャップを埋めることができるかどうかが不明であるためです。

要約(オリジナル)

A key enabler of deploying convolutional neural networks on resource-constrained embedded systems is the binary neural network (BNN). BNNs save on memory and simplify computation by binarizing both features and weights. Unfortunately, binarization is inevitably accompanied by a severe decrease in accuracy. To reduce the accuracy gap between binary and full-precision networks, many repair methods have been proposed in the recent past, which we have classified and put into a single overview in this chapter. The repair methods are divided into two main branches, training techniques and network topology changes, which can further be split into smaller categories. The latter category introduces additional cost (energy consumption or additional area) for an embedded system, while the former does not. From our overview, we observe that progress has been made in reducing the accuracy gap, but BNN papers are not aligned on what repair methods should be used to get highly accurate BNNs. Therefore, this chapter contains an empirical review that evaluates the benefits of many repair methods in isolation over the ResNet-20\&CIFAR10 and ResNet-18\&CIFAR100 benchmarks. We found three repair categories most beneficial: feature binarizer, feature normalization, and double residual. Based on this review we discuss future directions and research opportunities. We sketch the benefit and costs associated with BNNs on embedded systems because it remains to be seen whether BNNs will be able to close the accuracy gap while staying highly energy-efficient on resource-constrained embedded systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google