Binary domain generalization for sparsifying binary neural networks

要約

バイナリ ニューラル ネットワーク (BNN) は、リソースに制約のあるデバイスでディープ ニューラル ネットワーク (DNN) ベースのアプリケーションを開発および展開するための魅力的なソリューションです。
その成功にもかかわらず、BNN は依然として固定かつ制限された圧縮係数に悩まされています。これは、完全精度 DNN 用の既存の枝刈り手法が BNN に直接適用できないという事実によって説明される可能性があります。
実際、BNN の重み枝刈りはパフォーマンスの低下につながります。これは、BNN の標準の 2 値化ドメインがタスクに十分に適合していないことを示唆しています。
この研究では、プルーニング技術に対してより堅牢な標準バイナリ ドメインを拡張する、より一般的な新しいバイナリ ドメインを提案しています。これにより、圧縮の向上が保証され、重大なパフォーマンス損失が回避されます。
完全精度ネットワークの重みを提案されたバイナリ領域に量子化するための閉じた形式のソリューションを示します。
最後に、他の剪定戦略と組み合わせることができるこの方法の柔軟性を示します。
CIFAR-10 および CIFAR-100 の実験では、この新しいアプローチにより、パフォーマンスを維持しながら、メモリ使用量と実行時の待ち時間が削減された効率的なスパース ネットワークを生成できることが実証されました。

要約(オリジナル)

Binary neural networks (BNNs) are an attractive solution for developing and deploying deep neural network (DNN)-based applications in resource constrained devices. Despite their success, BNNs still suffer from a fixed and limited compression factor that may be explained by the fact that existing pruning methods for full-precision DNNs cannot be directly applied to BNNs. In fact, weight pruning of BNNs leads to performance degradation, which suggests that the standard binarization domain of BNNs is not well adapted for the task. This work proposes a novel more general binary domain that extends the standard binary one that is more robust to pruning techniques, thus guaranteeing improved compression and avoiding severe performance losses. We demonstrate a closed-form solution for quantizing the weights of a full-precision network into the proposed binary domain. Finally, we show the flexibility of our method, which can be combined with other pruning strategies. Experiments over CIFAR-10 and CIFAR-100 demonstrate that the novel approach is able to generate efficient sparse networks with reduced memory usage and run-time latency, while maintaining performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google