LLMs Plagiarize: Ensuring Responsible Sourcing of Large Language Model Training Data Through Knowledge Graph Comparison

要約

出版社、新聞社、その他の著作権保護されたコーパスの作成者が、その著作権保護された資料をトレーニングやファインチューニングの目的で使用する大規模言語モデル開発者に対して最近起こした法的申し立てに鑑みて、我々は、大規模言語モデルのトレーニングやファインチューニングに知識ソースが使用されたかどうかを評価する、盗作検出システムの変形である新しいシステムを提案する。現在の方法とは異なり、資源記述フレームワーク（RDF）のトリプルを用いて、ソース文書とその文書のLLM継続の両方から知識グラフを作成するアプローチを利用する。これらのグラフは、コサイン類似度を用いて内容に関して分析され、グラフ編集距離の正規化版を用いて構造に関して分析される。ソースコーパスとターゲットコーパス間のコンテンツマッチングやキーワード識別に焦点を当てた従来の剽窃システムとは異なり、我々のアプローチは、アイデア間の関係や他者に対する構成に焦点を当てることで、ソース文書とLLM継続文書間の類似性をより広範かつ正確に評価することを可能にする。さらに、我々のアプローチでは、訓練コーパスだけでなく、閉じた大規模な言語モデル「ブラックボックス」システムでは利用できない可能性のある、当惑度のようなLLMメトリクスへのアクセスを必要としない。従って、LLMが継続的にコーパスを「盗用」しているかどうかを類似度測定によって評価する。私たちのシステムのプロトタイプは、ハイパーリンクされたGitHubリポジトリにあります。

要約(オリジナル)

In light of recent legal allegations brought by publishers, newspapers, and other creators of copyrighted corpora against large language model developers who use their copyrighted materials for training or fine-tuning purposes, we propose a novel system, a variant of a plagiarism detection system, that assesses whether a knowledge source has been used in the training or fine-tuning of a large language model. Unlike current methods, we utilize an approach that uses Resource Description Framework (RDF) triples to create knowledge graphs from both a source document and an LLM continuation of that document. These graphs are then analyzed with respect to content using cosine similarity and with respect to structure using a normalized version of graph edit distance that shows the degree of isomorphism. Unlike traditional plagiarism systems that focus on content matching and keyword identification between a source and a target corpus, our approach enables a broader and more accurate evaluation of similarity between a source document and LLM continuation by focusing on relationships between ideas and their organization with regards to others. Additionally, our approach does not require access to LLM metrics like perplexity that may be unavailable in closed large language model ‘black-box’ systems, as well as the training corpus. We thus assess whether an LLM has ‘plagiarized’ a corpus in its continuation through similarity measures. A prototype of our system will be found on a hyperlinked GitHub repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL