VeriCompress: A Tool to Streamline the Synthesis of Verified Robust Compressed Neural Networks from Scratch

要約

AI の広範な統合により、安全性が重要なシナリオ向けに、エッジや同様の限られたリソースのプラットフォームにニューラル ネットワーク (NN) が導入されるようになりました。
しかし、NN の脆弱性により、信頼性の高い推論に対する懸念が生じます。
さらに、制約のあるプラットフォームでは、コンパクトなネットワークが求められます。
この調査では、堅牢性が保証された圧縮モデルの検索とトレーニングを自動化するツールである VeriCompress を紹介します。
これらのモデルは、安全性が重要なアプリケーションに適しており、事前定義されたアーキテクチャとサイズ制限に準拠しているため、リソースが制限されたプラットフォームに展開できます。
このメソッドは、最先端のアプローチよりも 2 ～ 3 倍高速にモデルをトレーニングし、関連するベースライン アプローチを平均精度とロバスト性でそれぞれ 15.1 パーセント ポイントと 9.8 パーセント ポイント上回りました。
リソースが制限された汎用プラットフォームにデプロイされた場合、これらのモデルは、検証済みの堅牢性に関する文献で使用されているモデルに比べて、必要なメモリが 5 ～ 8 分の 1、推論時間が 2 ～ 4 分の 1 に短縮されます。
MNIST、CIFAR、SVHN、関連する歩行者検出データセットなど、さまざまなモデル アーキテクチャとデータセットにわたる包括的な評価は、現在の標準と比較して計算オーバーヘッドを削減しながら、圧縮された検証済みの堅牢なモデルを識別する VeriCompress の能力を示しています。
これは、エッジ プラットフォームやモノのインターネット プラットフォーム上のセーフティ クリティカルなアプリケーションの開発者などのエンド ユーザーにとって価値のあるツールとしての可能性を強調し、それぞれのドメインでセーフティ クリティカルでリソースに制約のあるプラットフォームに適したモデルを作成できるようにします。

要約(オリジナル)

AI’s widespread integration has led to neural networks (NNs) deployment on edge and similar limited-resource platforms for safety-critical scenarios. Yet, NN’s fragility raises concerns about reliable inference. Moreover, constrained platforms demand compact networks. This study introduces VeriCompress, a tool that automates the search and training of compressed models with robustness guarantees. These models are well-suited for safety-critical applications and adhere to predefined architecture and size limitations, making them deployable on resource-restricted platforms. The method trains models 2-3 times faster than the state-of-the-art approaches, surpassing relevant baseline approaches by average accuracy and robustness gains of 15.1 and 9.8 percentage points, respectively. When deployed on a resource-restricted generic platform, these models require 5-8 times less memory and 2-4 times less inference time than models used in verified robustness literature. Our comprehensive evaluation across various model architectures and datasets, including MNIST, CIFAR, SVHN, and a relevant pedestrian detection dataset, showcases VeriCompress’s capacity to identify compressed verified robust models with reduced computation overhead compared to current standards. This underscores its potential as a valuable tool for end users, such as developers of safety-critical applications on edge or Internet of Things platforms, empowering them to create suitable models for safety-critical, resource-constrained platforms in their respective domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google