Position: It’s Time to Act on the Risk of Efficient Personalized Text Generation

要約

高品質のオープンソースの生成AIテキストモデル（口語的に：LLMS）の最近の急増、および効率的な微調整技術は、高品質のパーソナライズされたモデルを作成する可能性を開きました。
そして、その人自身のデータを活用してオープンソースモデルを改良することにより、彼らの執筆スタイルを信頼できるように模倣することができます。
このようなモデルを作成するテクノロジーは個人がアクセスでき、そのようなモデルのトレーニングと実行は、消費者グレードのハードウェアで安く実行できます。
これらの進歩は、使いやすさとプライバシーにとって大きな利益です。
しかし、このポジションペーパーでは、これらの進歩は、少量の公開されたテキストに基づいて、たとえば電子メールのフィッシングを目的として、悪意のある俳優が大規模な特定の個人になりすまして実質的に実行可能にすることにより、新しい安全リスクをもたらすと主張しています。
私たちはさらに、これらのリスクは、画像、音声、ビデオディープフェイクなどの他のなりすまし攻撃の大いに議論されているリスクを補完し、それとは異なり、大規模な研究コミュニティ、または現在の世代のオープンによって適切に対処されていないと主張します。
– およびクローズドソースモデル。

要約(オリジナル)

The recent surge in high-quality open-sourced Generative AI text models (colloquially: LLMs), as well as efficient finetuning techniques, has opened the possibility of creating high-quality personalized models, i.e., models generating text attuned to a specific individual’s needs and capable of credibly imitating their writing style by leveraging that person’s own data to refine an open-source model. The technology to create such models is accessible to private individuals, and training and running such models can be done cheaply on consumer-grade hardware. These advancements are a huge gain for usability and privacy. This position paper argues, however, that these advancements also introduce new safety risks by making it practically feasible for malicious actors to impersonate specific individuals at scale, for instance for the purpose of phishing emails, based on small amounts of publicly available text. We further argue that these risks are complementary to – and distinct from – the much-discussed risks of other impersonation attacks such as image, voice, or video deepfakes, and are not adequately addressed by the larger research community, or the current generation of open – and closed-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google