Seeing Is Not Always Believing: Invisible Collision Attack and Defence on Pre-Trained Models

要約

BERT や GPT などの大規模な事前トレーニング済みモデル (PTM) は、さまざまな分野で大きな成功を収めています。
典型的なパラダイムは、大規模なデータセットで大規模な深層学習モデルを事前トレーニングし、その後、下流のタスク用にタスク固有の小さなデータセットでモデルを微調整することです。
PTM は現実世界の広範なアプリケーションで急速に進歩していますが、潜在的な攻撃という重大なリスクももたらします。
既存のバックドア攻撃やデータポイズニング手法では、攻撃者が被害者のコンピュータに侵入したり、ターゲットデータにアクセスしたりするという想定が構築されることが多く、現実のシナリオでは困難です。
この論文では、強化された MD5 コリジョンを使用した PTM に対する目に見えない攻撃のための新しいフレームワークを提案します。
重要なアイデアは、MD5 選択プレフィックス衝突を利用して、同じ MD5 チェックサムを持つ 2 つの等しいサイズのモデルを生成することです。
その後、2 つの「同じ」モデルが公開 Web サイトに展開され、被害者が毒されたモデルをダウンロードするように誘導されます。
深層学習モデルに対する従来の攻撃とは異なり、この新しい攻撃は柔軟かつ秘密裏に行われ、モデルに依存しません。
さらに、MD5 選択プレフィックス衝突を認識するための単純な防御戦略を提案し、その実現可能性の理論的正当化を提供します。
私たちは、さまざまなモデルやデータセットで、提案した攻撃および防御方法の有効性とステルス性を広範囲に検証します。

要約(オリジナル)

Large-scale pre-trained models (PTMs) such as BERT and GPT have achieved great success in diverse fields. The typical paradigm is to pre-train a big deep learning model on large-scale data sets, and then fine-tune the model on small task-specific data sets for downstream tasks. Although PTMs have rapidly progressed with wide real-world applications, they also pose significant risks of potential attacks. Existing backdoor attacks or data poisoning methods often build up the assumption that the attacker invades the computers of victims or accesses the target data, which is challenging in real-world scenarios. In this paper, we propose a novel framework for an invisible attack on PTMs with enhanced MD5 collision. The key idea is to generate two equal-size models with the same MD5 checksum by leveraging the MD5 chosen-prefix collision. Afterwards, the two “same’ models will be deployed on public websites to induce victims to download the poisoned model. Unlike conventional attacks on deep learning models, this new attack is flexible, covert, and model-independent. Additionally, we propose a simple defensive strategy for recognizing the MD5 chosen-prefix collision and provide a theoretical justification for its feasibility. We extensively validate the effectiveness and stealthiness of our proposed attack and defensive method on different models and data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google