On the Risks of Stealing the Decoding Algorithms of Language Models

要約

現代言語モデル (LM) からテキストを生成するための重要な要素は、デコード アルゴリズムの選択と調整です。
これらのアルゴリズムは、LM によって生成された内部確率分布からテキストを生成する方法を決定します。
デコード アルゴリズムを選択し、そのハイパーパラメーターを調整するプロセスには、かなりの時間、手作業、および計算が必要であり、人間による大規模な評価も必要です。
したがって、そのような復号化アルゴリズムのアイデンティティとハイパーパラメータは、その所有者にとって非常に価値があると考えられています。
この作業では、LM への典型的な API アクセスを持つ敵が、非常に低い金銭的コストでデコード アルゴリズムの型とハイパーパラメータを盗むことができることを初めて示します。
私たちの攻撃は、GPT-2 や GPT-3 など、テキスト生成 API で使用される一般的な LM に対して効果的です。
GPT-3 の 4 つのバージョンについて、$\$0.8$、$\$1$、$\$4$、$\$40$ など、わずか数ドルでこのような情報を盗むことができることを示しています。

要約(オリジナル)

A key component of generating text from modern language models (LM) is the selection and tuning of decoding algorithms. These algorithms determine how to generate text from the internal probability distribution generated by the LM. The process of choosing a decoding algorithm and tuning its hyperparameters takes significant time, manual effort, and computation, and it also requires extensive human evaluation. Therefore, the identity and hyperparameters of such decoding algorithms are considered to be extremely valuable to their owners. In this work, we show, for the first time, that an adversary with typical API access to an LM can steal the type and hyperparameters of its decoding algorithms at very low monetary costs. Our attack is effective against popular LMs used in text generation APIs, including GPT-2 and GPT-3. We demonstrate the feasibility of stealing such information with only a few dollars, e.g., $\$0.8$, $\$1$, $\$4$, and $\$40$ for the four versions of GPT-3.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google