WanJuanSiLu: A High-Quality Open-Source Webtext Dataset for Low-Resource Languages

要約

このペーパーでは、低リソース言語に高品質のトレーニングコーパスを提供するように設計されたオープンソースのデータセットWanjuansiluを紹介し、多言語モデルの研究開発を進めます。
これを達成するために、低リソース言語に合わせた体系的なデータ処理フレームワークを開発しました。
このフレームワークには、データ抽出、コーパスクリーニング、コンテンツの重複排除、セキュリティフィルタリング、品質評価、テーマ分類などの重要な段階が含まれます。
このフレームワークの実装を通じて、言語の多様性を維持しながら、データセットの品質とセキュリティの両方を大幅に改善しました。
現在のところ、5つの言語すべてのデータは完全にオープンソースされています。
データセットはhttps://opendatalab.com/applymultilingualcorpusでアクセスでき、githubリポジトリはhttps://github.com/opendatalab/wanjuan3.0で入手できます。

要約(オリジナル)

This paper introduces the open-source dataset WanJuanSiLu, designed to provide high-quality training corpora for low-resource languages, thereby advancing the research and development of multilingual models. To achieve this, we have developed a systematic data processing framework tailored for low-resource languages. This framework encompasses key stages such as data extraction, corpus cleaning, content deduplication, security filtering, quality evaluation, and theme classification. Through the implementation of this framework, we have significantly improved both the quality and security of the dataset, while maintaining its linguistic diversity. As of now, data for all five languages have been fully open-sourced. The dataset can be accessed at https://opendatalab.com/applyMultilingualCorpus, and GitHub repository is available at https://github.com/opendatalab/WanJuan3.0

arxiv情報

提供元, 利用サービス

arxiv.jp, Google