Strong Copyright Protection for Language Models via Adaptive Model Fusion

要約

言語モデルがトレーニング データから著作権で保護された素材を意図せず複製してしまうリスクがあるため、さまざまな保護手段の開発が行われてきました。
この論文では、著作権侵害を防ぐための効果的な解決策としてモデル融合を提案します。
特に、言語モデルを適応的に組み合わせて保護された素材の複製を最小限に抑えるアルゴリズムである Copyright-Protecting Fusion (CP-Fuse) を紹介します。
CP-Fuse は、最近提案された Near-Access Free (NAF) フレームワークに触発されており、さらに、記憶されたトレーニング データの複製を防止する望ましいバランス特性を組み込んでいます。
私たちの結果は、CP-Fuse が高品質のテキストとコード生成を維持しながら、著作権で保護されたコンテンツの暗記を大幅に削減することを示しています。
さらに、CP-Fuse を他の技術と統合して保護を強化する方法を示します。

要約(オリジナル)

The risk of language models unintentionally reproducing copyrighted material from their training data has led to the development of various protective measures. In this paper, we propose model fusion as an effective solution to safeguard against copyright infringement. In particular, we introduce Copyright-Protecting Fusion (CP-Fuse), an algorithm that adaptively combines language models to minimize the reproduction of protected materials. CP-Fuse is inspired by the recently proposed Near-Access Free (NAF) framework and additionally incorporates a desirable balancing property that we demonstrate prevents the reproduction of memorized training data. Our results show that CP-Fuse significantly reduces the memorization of copyrighted content while maintaining high-quality text and code generation. Furthermore, we demonstrate how CP-Fuse can be integrated with other techniques for enhanced protection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google