The KL3M Data Project: Copyright-Clean Training Resources for Large Language Models

要約

実質的に、すべての大規模な言語モデルは、著作権侵害と契約違反に関連するグローバルな不確実性の対象となるデータで事前に訓練されています。
これは、この不確実な法的地位のために、ユーザーと開発者の潜在的なリスクを生み出します。
KL3Mデータプロジェクトは、著作権または契約違反に関連するリスクを最小限に抑える最大の包括的なトレーニングデータパイプラインを導入することにより、この重要な問題に直接直面します。
このプロジェクトの基盤は、1億3200万人以上の文書と、ここで詳述されている厳格な著作権およびライセンスプロトコルを満たすために検証されている16の異なるソースにまたがる数兆個のトークンのコーパスです。
1）これらのドキュメントを取得および処理するソースコード、2）関連する出所とメタデータを備えた元のドキュメント形式、3）標準化された形式でコンテンツを抽出した元のドキュメント形式を含むパイプライン全体をリリースしています。
これらのリソースはすべて、S3、hugging Face、およびGithubでCC-Byの条件で一般に一般に自由に利用できます。
私たちは、AIモデルの開発と使用に対するより倫理的、法的、持続可能なアプローチを促進するために、このプロジェクトを継続することを約束しています。

要約(オリジナル)

Practically all large language models have been pre-trained on data that is subject to global uncertainty related to copyright infringement and breach of contract. This creates potential risk for users and developers due to this uncertain legal status. The KL3M Data Project directly confronts this critical issue by introducing the largest comprehensive training data pipeline that minimizes risks related to copyright or breach of contract. The foundation of this project is a corpus of over 132 million documents and trillions of tokens spanning 16 different sources that have been verified to meet the strict copyright and licensing protocol detailed herein. We are releasing the entire pipeline, including 1) the source code to acquire and process these documents, 2) the original document formats with associated provenance and metadata, 3) extracted content in a standardized format, 4) pre-tokenized representations of the documents, and 5) various mid- and post-train resources such as question-answer, summarization, conversion, drafting, classification, prediction, and conversational data. All of these resources are freely available to the public on S3, Hugging Face, and GitHub under CC-BY terms. We are committed to continuing this project in furtherance of a more ethical, legal, and sustainable approach to the development and use of AI models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google