The Impact of Uniform Inputs on Activation Sparsity and Energy-Latency Attacks in Computer Vision

要約

現在、リソース効率は機械学習にとって重要な役割を果たしています。
エネルギーと意思決定の待ち時間は、持続可能で実用的なアプリケーションを保証する 2 つの重要な側面です。
残念ながら、エネルギー消費と意思決定の待ち時間は敵に対して堅牢ではありません。
研究者らは最近、攻撃者が推論時にいわゆるスポンジ サンプルを計算して送信し、ニューラル ネットワークのエネルギー消費と意思決定の待ち時間を増加させることができることを実証しました。
コンピュータ ビジョンでは、提案された戦略は、計算を高速化するために使用できる、活性化のスパース性が低い入力を作成します。
この論文では、これらのエネルギー待ち時間攻撃がどのようにして活性化の希薄性を減少させるのかのメカニズムを分析します。
特に、入力の均一性が重要な要因であることがわかりました。
均一な画像、つまりほぼ平坦で均一な色の表面を持つ画像は、畳み込み、バッチ正規化、および ReLU アクティベーションの特定の相互作用により、より多くのアクティベーションをトリガーします。
これらの洞察に基づいて、スポンジの例を作成するための 2 つの新しいシンプルかつ効果的な戦略を提案します。それは、確率分布から画像をサンプリングすることと、自然データセット内の密集しているが目立たない入力を識別することです。
私たちは、複数の画像分類モデルを使用した包括的な評価で発見結果を経験的に検証し、私たちの攻撃が以前のスポンジ例の方法と同じスパース効果を、わずかな計算量で達成できることを示します。
また、スポンジの例が異なるニューラル ネットワーク間で転送されることも示します。
最後に、スパース性を高めて効率を向上させることで、私たちの発見を良い方向に応用することについて説明します。

要約(オリジナル)

Resource efficiency plays an important role for machine learning nowadays. The energy and decision latency are two critical aspects to ensure a sustainable and practical application. Unfortunately, the energy consumption and decision latency are not robust against adversaries. Researchers have recently demonstrated that attackers can compute and submit so-called sponge examples at inference time to increase the energy consumption and decision latency of neural networks. In computer vision, the proposed strategy crafts inputs with less activation sparsity which could otherwise be used to accelerate the computation. In this paper, we analyze the mechanism how these energy-latency attacks reduce activation sparsity. In particular, we find that input uniformity is a key enabler. A uniform image, that is, an image with mostly flat, uniformly colored surfaces, triggers more activations due to a specific interplay of convolution, batch normalization, and ReLU activation. Based on these insights, we propose two new simple, yet effective strategies for crafting sponge examples: sampling images from a probability distribution and identifying dense, yet inconspicuous inputs in natural datasets. We empirically examine our findings in a comprehensive evaluation with multiple image classification models and show that our attack achieves the same sparsity effect as prior sponge-example methods, but at a fraction of computation effort. We also show that our sponge examples transfer between different neural networks. Finally, we discuss applications of our findings for the good by improving efficiency by increasing sparsity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google