The Adversarial Implications of Variable-Time Inference

要約

機械学習 (ML) モデルは、予測の整合性やトレーニング データのプライバシーを狙う多くの攻撃に対して脆弱であることが知られています。
これらの攻撃を実行するには、ブラックボックス攻撃者は通常、モデルをクエリし、その出力 (ラベルなど) を観察する能力を持っている必要があります。
この研究では、そのような意思決定ベースの攻撃を強化する能力を初めて実証します。
これを達成するために、攻撃者が攻撃を受けている ML モデルの予測の後処理に使用されるアルゴリズムの実行時間を単純に測定する、新しいサイド チャネルを利用するアプローチを紹介します。
推論状態要素のアルゴリズム タイミング サイド チャネルへの漏洩はこれまで研究されたことがなく、ラベル出力のみに基づく攻撃を大幅に上回る優れたタイミング攻撃を促進する豊富な情報が含まれている可能性があることがわかりました。
ケーススタディでは、物体検出器の動作において重要な役割を果たす非最大抑制 (NMS) アルゴリズムからの漏れを調査します。
このアルゴリズムに関連するタイミング サイドチャネルの脆弱性を調査した結果、意思決定ベースの攻撃を強化する可能性があることが判明しました。
タイミング漏洩を利用して、敵対的な例を使用してオブジェクト検出をうまく回避し、データセット推論を実行する、YOLOv3 検出器に対する攻撃を示します。
私たちの実験は、敵対的な例が意思決定ベースの攻撃と比較して優れた摂動品質を示すことを示しています。
さらに、タイミング漏洩のみに基づいてデータセット推論が実行される新しい脅威モデルを紹介します。
NMS アルゴリズムに固有のタイミング漏洩の脆弱性に対処するために、緩和戦略として定数時間推論パスを実装する可能性と限界を調査します。

要約(オリジナル)

Machine learning (ML) models are known to be vulnerable to a number of attacks that target the integrity of their predictions or the privacy of their training data. To carry out these attacks, a black-box adversary must typically possess the ability to query the model and observe its outputs (e.g., labels). In this work, we demonstrate, for the first time, the ability to enhance such decision-based attacks. To accomplish this, we present an approach that exploits a novel side channel in which the adversary simply measures the execution time of the algorithm used to post-process the predictions of the ML model under attack. The leakage of inference-state elements into algorithmic timing side channels has never been studied before, and we have found that it can contain rich information that facilitates superior timing attacks that significantly outperform attacks based solely on label outputs. In a case study, we investigate leakage from the non-maximum suppression (NMS) algorithm, which plays a crucial role in the operation of object detectors. In our examination of the timing side-channel vulnerabilities associated with this algorithm, we identified the potential to enhance decision-based attacks. We demonstrate attacks against the YOLOv3 detector, leveraging the timing leakage to successfully evade object detection using adversarial examples, and perform dataset inference. Our experiments show that our adversarial examples exhibit superior perturbation quality compared to a decision-based attack. In addition, we present a new threat model in which dataset inference based solely on timing leakage is performed. To address the timing leakage vulnerability inherent in the NMS algorithm, we explore the potential and limitations of implementing constant-time inference passes as a mitigation strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google