Stolen Subwords: Importance of Vocabularies for Machine Translation Model Stealing

要約

学習ベースの機能窃盗では、攻撃者は被害者の出力に基づいてローカル モデルを構築しようとします。
攻撃者は、ローカル モデルのアーキテクチャ、最適化方法、特に NLP モデルの場合は BPE などのサブワード語彙に関して選択を行う必要があります。
機械翻訳タスクでは、(1) 語彙の選択がモデル盗用のシナリオに役割を果たすかどうか、(2) 被害者の語彙を抽出できるかどうかを調査します。
語彙自体はローカル モデルのパフォーマンスに大きな影響を与えないことがわかります。
グレーボックス モデルにアクセスできると、出力 (出力上の非トークン化されたサブワード) を収集することによって、被害者の語彙を収集することが可能です。
語彙選択の効果を最小限に抑えた結果は、ブラックボックス知識の蒸留にとってより広範に重要です。

要約(オリジナル)

In learning-based functionality stealing, the attacker is trying to build a local model based on the victim’s outputs. The attacker has to make choices regarding the local model’s architecture, optimization method and, specifically for NLP models, subword vocabulary, such as BPE. On the machine translation task, we explore (1) whether the choice of the vocabulary plays a role in model stealing scenarios and (2) if it is possible to extract the victim’s vocabulary. We find that the vocabulary itself does not have a large effect on the local model’s performance. Given gray-box model access, it is possible to collect the victim’s vocabulary by collecting the outputs (detokenized subwords on the output). The results of the minimum effect of vocabulary choice are important more broadly for black-box knowledge distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google