On the Risks of Stealing the Decoding Algorithms of Language Models

要約

タイトル：言語モデルの解読アルゴリズムを盗み出すリスクについて

要約：
– 現代の言語モデル(LM)からテキストを生成する上で重要なのは、解読アルゴリズムの選択と調整である。
– このアルゴリズムは、LMが生成する内部確率分布からどのようにテキストを生成するかを決定する。
– 解読アルゴリズムの選択とハイパーパラメータの調整は、多大な時間、手作業、計算を必要とし、また、広範な人的評価も必要とする。
– そのため、解読アルゴリズムのアイデンティティとハイパーパラメータは非常に貴重なものと考えられている。
– 本研究では、一般的なAPIアクセスを持つ敵対者が、非常に低コストでLMの解読アルゴリズムの種類やハイパーパラメータを盗み出すことができることを初めて示した。
– この攻撃は、GPT-2やGPT-3などのテキスト生成APIで使用される人気のあるLMに対して効果的である。
– 我々は、4つのバージョンのGPT-3に対してわずか数ドル（例えば$\$0.8$、$\$1$、$\$4$、$\$40$）でこの情報を盗み出すことができることを実証した。

要約(オリジナル)

A key component of generating text from modern language models (LM) is the selection and tuning of decoding algorithms. These algorithms determine how to generate text from the internal probability distribution generated by the LM. The process of choosing a decoding algorithm and tuning its hyperparameters takes significant time, manual effort, and computation, and it also requires extensive human evaluation. Therefore, the identity and hyperparameters of such decoding algorithms are considered to be extremely valuable to their owners. In this work, we show, for the first time, that an adversary with typical API access to an LM can steal the type and hyperparameters of its decoding algorithms at very low monetary costs. Our attack is effective against popular LMs used in text generation APIs, including GPT-2 and GPT-3. We demonstrate the feasibility of stealing such information with only a few dollars, e.g., $\$0.8$, $\$1$, $\$4$, and $\$40$ for the four versions of GPT-3.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI