CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation

要約

著作権で保護されたコンテンツの言語モデル (LM) による複製の程度を評価することは、AI および法律コミュニティにとって大きな関心を集めています。
裁判所は複製の程度を評価する際に文字通りの類似性と非文字通りの類似性の両方を考慮しますが、先行研究は文字通りの類似性にのみ焦点を当てていました。
このギャップを埋めるために、LM 世代のリテラル コピーと非リテラル コピーの両方を測定するように設計されたベンチマークである CopyBench を導入します。
著作権で保護されたフィクション書籍をテキスト ソースとして使用し、著作権で保護された作品から事実を想起し、流暢な完成文を生成する能力という点で、モデルの実用性とバランスをとりながら、文字通りのコピーと非文字通りのコピーを評価するための自動評価プロトコルを提供します。
リテラル コピーは比較的まれですが、2 種類の非リテラル コピー (イベント コピーと文字コピー) が 7B パラメータ程度の小さなモデルでも発生することがわかりました。
Llama3-8B モデルと 70B モデルを比較すると、より大きなモデルではコピーが大幅に増加し、それぞれリテラル コピー率が 0.2% から 10.5% に、非リテラル コピー率が 2.3% から 6.9% に増加しました。
我々は、コピーを軽減するための現在の戦略の有効性をさらに評価し、(1) トレーニング時のアライメントはリテラル コピーを減らすことができるが、非リテラル コピーを増加させる可能性があること、(2) 現在の推論時の軽減方法は主にリテラル コピーを減らすが、非リテラル コピーを減らすことはできないことを示します。
文字通りのコピー。

要約(オリジナル)

Evaluating the degree of reproduction of copyright-protected content by language models (LMs) is of significant interest to the AI and legal communities. Although both literal and non-literal similarities are considered by courts when assessing the degree of reproduction, prior research has focused only on literal similarities. To bridge this gap, we introduce CopyBench, a benchmark designed to measure both literal and non-literal copying in LM generations. Using copyrighted fiction books as text sources, we provide automatic evaluation protocols to assess literal and non-literal copying, balanced against the model utility in terms of the ability to recall facts from the copyrighted works and generate fluent completions. We find that, although literal copying is relatively rare, two types of non-literal copying — event copying and character copying — occur even in models as small as 7B parameters. Larger models demonstrate significantly more copying, with literal copying rates increasing from 0.2% to 10.5% and non-literal copying from 2.3% to 6.9% when comparing Llama3-8B and 70B models, respectively. We further evaluate the effectiveness of current strategies for mitigating copying and show that (1) training-time alignment can reduce literal copying but may increase non-literal copying, and (2) current inference-time mitigation methods primarily reduce literal but not non-literal copying.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google