VeriSparse: Training Verified Locally Robust Sparse Neural Networks from Scratch

要約

セルフナビゲーション、ヘルスケア、産業用制御システムなど、いくつかの安全性が重要なアプリケーションは、組み込みシステムをコアとして使用しています。
複雑な関数の近似におけるニューラル ネットワーク (NN) の最近の進歩により、これらのドメインに適しています。
ただし、NN の計算集約型の性質により、計算とストレージの容量が限られている組み込みシステムでの展開とトレーニングが制限されます。
さらに、NN の敵対的な脆弱性は、安全性が重要なシナリオでの使用に挑戦します。
したがって、トレーニング中により少ないリソースを活用しながら堅牢性が保証されたスパース モデルを開発することは、安全性が重要でリソースに制約のある埋め込みシステム設定で NN の使用を拡大する上で重要です。
この論文では、「VeriSparse」を紹介します。これは、ランダムなスパース初期化 (つまり、スクラッチ) から開始して、検証済みのローカルに堅牢なスパース ネットワークを検索するためのフレームワークです。
VeriSparse は、最新のアプローチと比較してトレーニング時間が 3 分の 1 で済み、同等以上の検証済みローカル ロバスト性を示すスパース NN を取得します。
さらに、VeriSparse は構造化と非構造化の両方のスパース化を実行し、推論生成中のストレージ、コンピューティング リソース、および計算時間の削減を可能にします。
したがって、リソース制約埋め込みプラットフォームが検証済みの堅牢な NN モデルを活用しやすくなり、その範囲がセーフティ クリティカル、リアルタイム、およびエッジ アプリケーションに拡大されます。
いくつかのモデル アーキテクチャにわたってさまざまなベンチマークおよびアプリケーション固有のデータセットを評価することにより、VeriSparse の有効性と一般化可能性を徹底的に調査しました。

要約(オリジナル)

Several safety-critical applications such as self-navigation, health care, and industrial control systems use embedded systems as their core. Recent advancements in Neural Networks (NNs) in approximating complex functions make them well-suited for these domains. However, the compute-intensive nature of NNs limits their deployment and training in embedded systems with limited computation and storage capacities. Moreover, the adversarial vulnerability of NNs challenges their use in safety-critical scenarios. Hence, developing sparse models having robustness guarantees while leveraging fewer resources during training is critical in expanding NNs’ use in safety-critical and resource-constrained embedding system settings. This paper presents ‘VeriSparse’– a framework to search verified locally robust sparse networks starting from a random sparse initialization (i.e., scratch). VeriSparse obtains sparse NNs exhibiting similar or higher verified local robustness, requiring one-third of the training time compared to the state-of-the-art approaches. Furthermore, VeriSparse performs both structured and unstructured sparsification, enabling storage, computing-resource, and computation time reduction during inference generation. Thus, it facilitates the resource-constraint embedding platforms to leverage verified robust NN models, expanding their scope to safety-critical, real-time, and edge applications. We exhaustively investigated VeriSparse’s efficacy and generalizability by evaluating various benchmark and application-specific datasets across several model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google