Compression Aware Certified Training

要約

安全性が批判的でリソースに制約のある環境で展開された深いニューラルネットワークは、効率と堅牢性のバランスをとる必要があります。
既存の方法は、圧縮と認定された堅牢性を個別の目標として扱い、効率または安全のいずれかを損ないます。
トレーニング中にこれらの目的を統合するための一般的なフレームワークであるCactus（ネットワークセットを使用したCompression認識認定トレーニング）を提案します。
サボテンモデルは、圧縮された場合でも、高い認定精度を維持します。
剪定と量子化の両方にサボテンを適用し、高精度と認定可能な堅牢性を維持しながら効率的に圧縮できるモデルを効果的にトレーニングすることを示します。
Cactusは、さまざまなデータセットと入力仕様で剪定と量子化の両方で最先端の精度と認定パフォーマンスを達成します。

要約(オリジナル)

Deep neural networks deployed in safety-critical, resource-constrained environments must balance efficiency and robustness. Existing methods treat compression and certified robustness as separate goals, compromising either efficiency or safety. We propose CACTUS (Compression Aware Certified Training Using network Sets), a general framework for unifying these objectives during training. CACTUS models maintain high certified accuracy even when compressed. We apply CACTUS for both pruning and quantization and show that it effectively trains models which can be efficiently compressed while maintaining high accuracy and certifiable robustness. CACTUS achieves state-of-the-art accuracy and certified performance for both pruning and quantization on a variety of datasets and input specifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google