Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction

要約

このペーパーでは、事前トレーニングされたエンコーダを盗むことを目的としたこれまでの取り組みで蔓延していた 2 つの主要な欠陥、(1) 偏った最適化目標に起因する次善のパフォーマンス、および (2) エンドツー エンドツーエンドに起因するクエリ コストの上昇という 2 つの主要な欠陥に対処するために設計された先駆的なアプローチである RDA を紹介します。
-end パラダイムでは、エポックごとにターゲット エンコーダにクエリを実行する必要があります。
具体的には、最初に各トレーニング サンプルのターゲット エンコーダーの表現を洗練し、それによってスチール トレーニング フェーズの前に偏りの少ない最適化目標を確立します。
これは、特定のサンプルのさまざまな観点に対するターゲット エンコーダーの表現を統合する、サンプルごとのプロトタイプによって実現されます。
エンドツーエンドのアプローチと比較して、要求されるクエリが大幅に少なくなるため、プロトタイプをインスタンス化して、後続のクエリなしのトレーニングをガイドできます。
より強力な効果を得るために、振幅と角度の両方の点で一致する埋め込みとプロトタイプのペアを調整しながら、一致しない埋め込みとプロトタイプのペアを識別するようにサロゲート エンコーダーをトレーニングするマルチリレーショナル抽出損失を開発します。
このようにして、トレーニングされたサロゲート エンコーダーは、制限されたクエリでさまざまなダウンストリーム データセットにおいて全面的に最先端の結果を達成します。
さらに、RDA は、広く使用されている複数の防御に対して堅牢であることが示されています。

要約(オリジナル)

This paper introduces RDA, a pioneering approach designed to address two primary deficiencies prevalent in previous endeavors aiming at stealing pre-trained encoders: (1) suboptimal performances attributed to biased optimization objectives, and (2) elevated query costs stemming from the end-to-end paradigm that necessitates querying the target encoder every epoch. Specifically, we initially Refine the representations of the target encoder for each training sample, thereby establishing a less biased optimization objective before the steal-training phase. This is accomplished via a sample-wise prototype, which consolidates the target encoder’s representations for a given sample’s various perspectives. Demanding exponentially fewer queries compared to the end-to-end approach, prototypes can be instantiated to guide subsequent query-free training. For more potent efficacy, we develop a multi-relational extraction loss that trains the surrogate encoder to Discriminate mismatched embedding-prototype pairs while Aligning those matched ones in terms of both amplitude and angle. In this way, the trained surrogate encoder achieves state-of-the-art results across the board in various downstream datasets with limited queries. Moreover, RDA is shown to be robust to multiple widely-used defenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google