Deep Classifier Mimicry without Data Access

要約

事前トレーニングされたモデルへのアクセスは、最近、多数の機械学習ドメインにわたる標準として登場しました。
残念ながら、モデルがトレーニングされた元のデータへのアクセスは同様に許可されない場合があります。
そのため、モデルの微調整、圧縮、継続的な適応、またはその他のタイプのデータ駆動型更新を実行することが非常に困難になります。
ただし、元のデータへのアクセスは必要ない可能性があると想定しています。
具体的には、元のデータにアクセスせずに深層分類器を模倣する、モデルに依存しない知識抽出手順である Contrastive Abductive Knowledge Extraction (CAKE) を提案します。
この目的を達成するために、CAKE はノイズの多い合成サンプルのペアを生成し、それらをモデルの決定境界に向かって対照的に拡散します。
私たちは、いくつかのベンチマーク データセットとさまざまなアーキテクチャの選択を使用して CAKE の有効性を経験的に裏付け、広範なアプリケーションへの道を切り開きます。

要約(オリジナル)

Access to pre-trained models has recently emerged as a standard across numerous machine learning domains. Unfortunately, access to the original data the models were trained on may not equally be granted. This makes it tremendously challenging to fine-tune, compress models, adapt continually, or to do any other type of data-driven update. We posit that original data access may however not be required. Specifically, we propose Contrastive Abductive Knowledge Extraction (CAKE), a model-agnostic knowledge distillation procedure that mimics deep classifiers without access to the original data. To this end, CAKE generates pairs of noisy synthetic samples and diffuses them contrastively toward a model’s decision boundary. We empirically corroborate CAKE’s effectiveness using several benchmark datasets and various architectural choices, paving the way for broad application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google