Certified Mitigation of Worst-Case LLM Copyright Infringement

要約

トレーニング前に大規模な言語モデル（LLM）を著作権で保護された材料に曝露すると、展開後の意図しない著作権侵害に関する懸念が生じます。
これにより、モデルが著作権で保護されたものと実質的に類似したコンテンツを生成するのを防ぐことを目的としたトレーニング後のアプローチの「著作権テイクダウン」方法の開発が促進されました。
現在の緩和アプローチは、平均ケースのリスクに多少効果的ですが、著作権で保護されたソースからの長い逐語的な引用の存在によって示される最悪の著作権リスクを見落としていることを示しています。
Bloomscrubを提案します。これは、認定された著作権テイクダウンを提供する非常にシンプルで非常に効果的な推論時間アプローチです。
私たちの方法は、潜在的に侵害するセグメントを変換するために、書き換え技術と引用検出を繰り返し繰り返します。
効率的なデータスケッチ（ブルームフィルター）を活用することにより、このアプローチにより、大規模な実世界のコーパスでもスケーラブルな著作権スクリーニングが可能になります。
長さのしきい値を超えた引用を削除できない場合、システムは応答を控えることができ、認定されたリスク削減を提供します。
実験結果は、BloomsCrubが侵害のリスクを減らし、効用を維持し、適応的棄権を伴うさまざまなレベルの執行の強迫性に対応することを示しています。
私たちの結果は、軽量の推論時間方法が著作権予防に驚くほど効果的であることを示唆しています。

要約(オリジナル)

The exposure of large language models (LLMs) to copyrighted material during pre-training raises concerns about unintentional copyright infringement post deployment. This has driven the development of ‘copyright takedown’ methods, post-training approaches aimed at preventing models from generating content substantially similar to copyrighted ones. While current mitigation approaches are somewhat effective for average-case risks, we demonstrate that they overlook worst-case copyright risks exhibits by the existence of long, verbatim quotes from copyrighted sources. We propose BloomScrub, a remarkably simple yet highly effective inference-time approach that provides certified copyright takedown. Our method repeatedly interleaves quote detection with rewriting techniques to transform potentially infringing segments. By leveraging efficient data sketches (Bloom filters), our approach enables scalable copyright screening even for large-scale real-world corpora. When quotes beyond a length threshold cannot be removed, the system can abstain from responding, offering certified risk reduction. Experimental results show that BloomScrub reduces infringement risk, preserves utility, and accommodates different levels of enforcement stringency with adaptive abstention. Our results suggest that lightweight, inference-time methods can be surprisingly effective for copyright prevention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google