Cleaner Pretraining Corpus Curation with Neural Web Scraping

要約

ウェブには、人間の情報探索ニーズを満たす大規模かつ多様かつ豊富な情報が存在します。
細心の注意を払ったデータ収集、前処理、およびキュレーションを通じて、Web ページを言語モデルの事前トレーニングの基本的なデータ リソースとして使用できます。
しかし、Web ページの革新的で複雑な性質に直面すると、ルールベース/機能ベースの Web スクレイパーはますます不十分になってきます。
このペーパーでは、Web ページから主要なクリーン テキスト コンテンツを抽出するのに役立つ、シンプル、高速、効果的な Neural Web Scraper (NeuScraper) を紹介します。
実験結果では、NeuScraper が 20% 以上の改善を達成してベースライン スクレイパーを上回っていることが示されており、言語モデルの事前トレーニングを容易にするために高品質のデータを抽出できる可能性が実証されています。
すべてのコードは https://github.com/OpenMatch/NeuScraper で入手できます。

要約(オリジナル)

The web contains large-scale, diverse, and abundant information to satisfy the information-seeking needs of humans. Through meticulous data collection, preprocessing, and curation, webpages can be used as a fundamental data resource for language model pretraining. However, when confronted with the progressively revolutionized and intricate nature of webpages, rule-based/feature-based web scrapers are becoming increasingly inadequate. This paper presents a simple, fast, and effective Neural web Scraper (NeuScraper) to help extract primary and clean text contents from webpages. Experimental results show that NeuScraper surpasses the baseline scrapers by achieving more than a 20% improvement, demonstrating its potential in extracting higher-quality data to facilitate the language model pretraining. All of the code is available at https://github.com/OpenMatch/NeuScraper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google