Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks

要約

さまざまなアプリケーションで深層学習アルゴリズムが普及しているため、敵対的攻撃で発生するような小さな入力の摂動に対する堅牢性を確保する必要性が高まっています。
既存の完全な検証手法は、すべての堅牢性クエリに対して証明可能な保証を提供しますが、小規模なニューラル ネットワークを超えて拡張するのは困難です。
この計算の難しさを克服するために、不完全な検証方法では、凸緩和に依存してニューラル ネットワークの非線形性を過大近似することがよくあります。
区分的線形関数については、より厳密な近似の進歩が達成されました。
しかし、一般的な活性化関数 (Sigmoid、Tanh など) に対するニューラル ネットワークの堅牢性の検証は依然として十分に研究されておらず、新たな課題を引き起こしています。
通常、これらのネットワークは、非線形活性化関数の線形上限と下限を計算する凸緩和技術を使用して検証されます。
この研究では、これらの線形近似の品質を向上させるための新しいパラメータ検索方法を提案します。
具体的には、最先端のアルゴリズム構成技術を通じて特定の検証問題に慎重に適応させた単純な検索方法を使用することで、平均グローバル下限が現在の最先端技術に比べて平均 25% 改善されることを示します。
一般的に使用されるローカル堅牢性検証ベンチマーク。

要約(オリジナル)

The ubiquity of deep learning algorithms in various applications has amplified the need for assuring their robustness against small input perturbations such as those occurring in adversarial attacks. Existing complete verification techniques offer provable guarantees for all robustness queries but struggle to scale beyond small neural networks. To overcome this computational intractability, incomplete verification methods often rely on convex relaxation to over-approximate the nonlinearities in neural networks. Progress in tighter approximations has been achieved for piecewise linear functions. However, robustness verification of neural networks for general activation functions (e.g., Sigmoid, Tanh) remains under-explored and poses new challenges. Typically, these networks are verified using convex relaxation techniques, which involve computing linear upper and lower bounds of the nonlinear activation functions. In this work, we propose a novel parameter search method to improve the quality of these linear approximations. Specifically, we show that using a simple search method, carefully adapted to the given verification problem through state-of-the-art algorithm configuration techniques, improves the average global lower bound by 25% on average over the current state of the art on several commonly used local robustness verification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google