WanJuan-CC: A Safe and High-Quality Open-sourced English Webtext Dataset

要約

このペーパーでは、Common Crawl データから派生した安全で高品質なオープンソースの英語 Web テキスト データセットである WanJuan-CC について説明します。
この研究は、大量の高品質データを必要とする言語モデルの大規模な事前トレーニング データセットを構築するという課題に取り組んでいます。
共通クロール データを処理するために、抽出、ヒューリスティック ルール フィルタリング、ファジー重複排除、コンテンツ安全フィルタリング、データ品質フィルタリングなどの包括的なプロセスが設計されました。
約 680 億のオリジナルの英語文書から、WanJuan-CC の一部として 2.22T トークンの安全なデータを取得し、高品質データの 1.0T トークンを選択しました。
このデータセットから 300B トークンをオープンソース化しました。
このペーパーでは、ユーザーがニーズに応じて適切なデータを選択できるように、データ品質に関する統計情報も提供します。
データセットの品質と有用性を評価するために、WanJuan-CC と別のデータセット RefinedWeb を使用して 1B パラメーター モデルと 3B パラメーター モデルをトレーニングしました。
結果は、WanJuan-CC が検証データセットとダウンストリーム タスクでより優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

This paper presents WanJuan-CC, a safe and high-quality open-sourced English webtext dataset derived from Common Crawl data. The study addresses the challenges of constructing large-scale pre-training datasets for language models, which require vast amounts of high-quality data. A comprehensive process was designed to handle Common Crawl data, including extraction, heuristic rule filtering, fuzzy deduplication, content safety filtering, and data quality filtering. From approximately 68 billion original English documents, we obtained 2.22T Tokens of safe data and selected 1.0T Tokens of high-quality data as part of WanJuan-CC. We have open-sourced 300B Tokens from this dataset. The paper also provides statistical information related to data quality, enabling users to select appropriate data according to their needs. To evaluate the quality and utility of the dataset, we trained 1B-parameter and 3B-parameter models using WanJuan-CC and another dataset, RefinedWeb. Results show that WanJuan-CC performs better on validation datasets and downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google