An Exploratory Investigation into Code License Infringements in Large Language Model Training Datasets

要約

大規模な言語モデルのトレーニングはコード ライセンスを侵害する可能性がありますか?
さらに、ライセンスに違反することなくこれらのモデルをトレーニングするために安全に使用できるデータセットはあるのでしょうか?
私たちの研究では、この分野の現在の傾向と、大規模な言語モデルのトレーニングにコードを組み込むことの重要性を評価しています。
さらに、公開されているデータセットを調べて、将来的に法的問題が生じるリスクなしにこれらのモデルをトレーニングできるかどうかを確認します。
これを達成するために、ファイルレベルのコードでトレーニングされた 53 個の大規模な言語モデルのリストを作成しました。
次に、それらのデータセットを抽出し、強力なコピーレフト コードのみで構成される、私たちが作成したデータセットとどの程度重複しているかを分析しました。
私たちの分析では、関連するリポジトリ ライセンスに基づいて選択されているにもかかわらず、調査したすべてのデータセットにライセンスの不一致が含まれていることが判明しました。
私たちは合計 5 億 1,400 万のコード ファイルを分析し、強力なコピーレフト データセットに存在する 3,800 万の正確な重複を発見しました。
さらに、ファイルをリードする 1 億 7,100 万件のコメントを調査し、強力なコピーレフト ライセンスを持つ 1,600 万件と、明示的にライセンスに言及せずにコピーを妨げる 1,100 万件のコメントを特定しました。
コードでトレーニングされた大規模な言語モデルにおけるライセンスの不一致という広範な問題を浮き彫りにした私たちの調査結果に基づいて、研究者とコミュニティの両方に対する私たちの推奨事項は、データセットの作成と管理のベスト プラクティスの開発と採用を優先することです。

要約(オリジナル)

Does the training of large language models potentially infringe upon code licenses? Furthermore, are there any datasets available that can be safely used for training these models without violating such licenses? In our study, we assess the current trends in the field and the importance of incorporating code into the training of large language models. Additionally, we examine publicly available datasets to see whether these models can be trained on them without the risk of legal issues in the future. To accomplish this, we compiled a list of 53 large language models trained on file-level code. We then extracted their datasets and analyzed how much they overlap with a dataset we created, consisting exclusively of strong copyleft code. Our analysis revealed that every dataset we examined contained license inconsistencies, despite being selected based on their associated repository licenses. We analyzed a total of 514 million code files, discovering 38 million exact duplicates present in our strong copyleft dataset. Additionally, we examined 171 million file-leading comments, identifying 16 million with strong copyleft licenses and another 11 million comments that discouraged copying without explicitly mentioning a license. Based on the findings of our study, which highlights the pervasive issue of license inconsistencies in large language models trained on code, our recommendation for both researchers and the community is to prioritize the development and adoption of best practices for dataset creation and management.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google