Scalable Lipschitz Estimation for CNNs

要約

ディープ ニューラル ネットワークのリプシッツ定数の推定は、一般化可能性と敵対的堅牢性についての情報を提供するのに役立つため、関心が高まっています。
特に畳み込みニューラル ネットワーク (CNN) は、コンピューター ビジョン関連アプリケーションにおける最近の成功の多くを支えています。
ただし、リプシッツ定数を推定する既存の方法は厳密である可能性がありますが、CNN に適用するとスケーラビリティが制限されます。
これに取り組むために、CNN のリプシッツ定数推定を高速化する新しい方法を提案します。
中心的なアイデアは、結合層と幅方向のパーティションを介して大きな畳み込みブロックを小さなブロックのコレクションに分割することです。
小さいブロックのリプシッツ定数に関して、大きいブロックのリプシッツ定数の上限を証明します。
分割係数を変更することで、結果として得られるメソッドを調整して精度またはスケーラビリティを優先し、並列化を行うことができます。
さまざまな実験を通じて、拡張性の向上と既存のベースラインと同等の精度を実証します。

要約(オリジナル)

Estimating the Lipschitz constant of deep neural networks is of growing interest as it is useful for informing on generalisability and adversarial robustness. Convolutional neural networks (CNNs) in particular, underpin much of the recent success in computer vision related applications. However, although existing methods for estimating the Lipschitz constant can be tight, they have limited scalability when applied to CNNs. To tackle this, we propose a novel method to accelerate Lipschitz constant estimation for CNNs. The core idea is to divide a large convolutional block via a joint layer and width-wise partition, into a collection of smaller blocks. We prove an upper-bound on the Lipschitz constant of the larger block in terms of the Lipschitz constants of the smaller blocks. Through varying the partition factor, the resulting method can be adjusted to prioritise either accuracy or scalability and permits parallelisation. We demonstrate an enhanced scalability and comparable accuracy to existing baselines through a range of experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google