Prompt have evil twins

要約

私たちは、多くの自然言語プロンプトが、人間には理解できないものの、言語モデルで同様の動作を引き起こす可能性がある対応するプロンプトに置き換えることができることを発見しました。
これらのプロンプトは難読化されて解釈できない (悪) ため、これらのプロンプトを「邪悪な双子」と呼びますが、同時に元の自然言語プロンプト (双子) の機能を模倣します。
注目すべきことに、邪悪な双子はモデル間を移動します。
これらのプロンプトは、独立した関心のあるアプリケーションを含む最尤問題を解くことによって見つけられます。

要約(オリジナル)

We discover that many natural-language prompts can be replaced by corresponding prompts that are unintelligible to humans but that provably elicit similar behavior in language models. We call these prompts ‘evil twins’ because they are obfuscated and uninterpretable (evil), but at the same time mimic the functionality of the original natural-language prompts (twins). Remarkably, evil twins transfer between models. We find these prompts by solving a maximum-likelihood problem which has applications of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google