Towards Few-Call Model Stealing via Active Self-Paced Knowledge Distillation and Diffusion-Based Image Generation

要約

拡散モデルは、画像合成の強力な機能を示しており、多くのコンピュータービジョンタスクで使用されています。
この目的のために、新しいユースケース、つまり、元のトレーニングデータ、アーキテクチャ、モデルの重みにアクセスせずにブラックボックス分類モデルをコピーすることを提案します。つまり、モデルは推論APIを介してのみ公開されます。
より具体的には、モデルへの入力として渡された一部の画像サンプルの（ソフトまたはハード）ラベルのみを観察できます。
さらに、モデル呼び出しの数を制限する追加の制約を検討し、主に少ないコールモデル盗みに焦点を当てています。
適用された制限を考慮して、モデル抽出タスクを解決するために、次のフレームワークを提案します。
トレーニングデータとして、拡散モデルが現実的で多様な画像を生成する能力を活用することにより、合成データセット（プロキシデータセットと呼ばれる）を作成します。
許可されたAPI呼び出しの最大数を考えると、ブラックボックスモデルを介してそれぞれのサンプル数を渡してラベルを収集します。
最後に、Black-Box Teacher（攻撃モデル）の知識を学生モデル（攻撃されたモデルのコピー）に蒸留し、拡散モデルによって生成されたラベル付きデータと非標識データの両方を活用します。
蒸留中にプロキシデータを最大限に活用するために、新しいアクティブな自己ペース学習フレームワークを採用しています。
3つのデータセットでの経験的結果は、少ないモデル抽出シナリオにおける4つの最先端の方法にわたるフレームワークの優位性を確認します。
https://github.com/vladhondru25/model-stealingで無料で非営利的に使用するためにコードをリリースします。

要約(オリジナル)

Diffusion models showcase strong capabilities in image synthesis, being used in many computer vision tasks with great success. To this end, we propose to explore a new use case, namely to copy black-box classification models without having access to the original training data, the architecture, and the weights of the model, i.e. the model is only exposed through an inference API. More specifically, we can only observe the (soft or hard) labels for some image samples passed as input to the model. Furthermore, we consider an additional constraint limiting the number of model calls, mostly focusing our research on few-call model stealing. In order to solve the model extraction task given the applied restrictions, we propose the following framework. As training data, we create a synthetic data set (called proxy data set) by leveraging the ability of diffusion models to generate realistic and diverse images. Given a maximum number of allowed API calls, we pass the respective number of samples through the black-box model to collect labels. Finally, we distill the knowledge of the black-box teacher (attacked model) into a student model (copy of the attacked model), harnessing both labeled and unlabeled data generated by the diffusion model. We employ a novel active self-paced learning framework to make the most of the proxy data during distillation. Our empirical results on three data sets confirm the superiority of our framework over four state-of-the-art methods in the few-call model extraction scenario. We release our code for free non-commercial use at https://github.com/vladhondru25/model-stealing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google