Position: It’s Time to Act on the Risk of Efficient Personalized Text Generation

要約

高品質のオープンソース生成AIテキストモデル（口語的に：LLMS）の最近の急増と、効率的な微調整技術は、特定の個人のニーズに合わせたテキストを生成し、オープンソーセモデルを独自のデータを洗練することにより、執筆スタイルを模倣する可能性のある高品質のパーソナライズされたモデルを作成する可能性を開きました。
このようなモデルを作成するテクノロジーは個人がアクセスでき、そのようなモデルのトレーニングと実行は、消費者グレードのハードウェアで安く実行できます。
これらの進歩は使いやすさとプライバシーにとって大きな利益ですが、このポジションペーパーは、特定の個人になりすましていることの実際的な実現可能性も新しい安全リスクをもたらすと主張しています。
たとえば、このテクノロジーにより、少量の公的に利用可能なテキストに基づいて、または個人自身がAIテキスト検出を逃れるために、フィッシングメールまたは不正なソーシャルメディアアカウントの作成を可能にします。
私たちはさらに、これらのリスクは、画像、音声、ビデオディープフェイクなどの他のなりすまし攻撃の大いに議論されているリスクを補完し、それとは異なり、大規模な研究コミュニティ、または現在の世代のオープンソースモデルによって適切に対処されていないと主張します。

要約(オリジナル)

The recent surge in high-quality open-source Generative AI text models (colloquially: LLMs), as well as efficient finetuning techniques, have opened the possibility of creating high-quality personalized models that generate text attuned to a specific individual’s needs and are capable of credibly imitating their writing style by refining an open-source model with that person’s own data. The technology to create such models is accessible to private individuals, and training and running such models can be done cheaply on consumer-grade hardware. While these advancements are a huge gain for usability and privacy, this position paper argues that the practical feasibility of impersonating specific individuals also introduces novel safety risks. For instance, this technology enables the creation of phishing emails or fraudulent social media accounts, based on small amounts of publicly available text, or by the individuals themselves to escape AI text detection. We further argue that these risks are complementary to – and distinct from – the much-discussed risks of other impersonation attacks such as image, voice, or video deepfakes, and are not adequately addressed by the larger research community, or the current generation of open- and closed-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google