Oasis: Data Curation and Assessment System for Pretraining of Large Language Models

要約

データは、大規模な言語モデルを構築する際に最も重要な要素の 1 つです。
しかし、既存のシステムは、コーパス キュレーション パイプラインのカスタマイズに失敗しているか、キュレーションの反復最適化のための包括的なコーパス評価の活用を怠っています。
この目的を達成するために、私たちは Oasis と呼ばれるトレーニング前コーパスのキュレーションおよび評価プラットフォームを紹介します。これは、ユーザーフレンドリーな対話型インターフェイスを備えた、データ品質の向上と定量化のためのワンストップ システムです。
具体的には、対話型モジュール式ルール フィルター モジュールは、明示的なフィードバックに従ってカスタマイズされたルールを考案できます。
バイアス除去ニューラル フィルター モジュールは、望ましくないバイアスを除去するためにネガティブ中心の方法で品質分類データセットを構築します。
適応型ドキュメント重複排除モジュールは、限られたメモリ リソースで大規模な重複排除を実行できます。
これら 3 つの部分は、カスタマイズされたデータ キュレーション モジュールを構成します。
また、総合的なデータ評価モジュールでは、人間、GPT-4、ヒューリスティック メトリクスを含む 3 つの評価手段を使用して、コーパスをローカルおよびグローバルなビューで評価できます。
事前トレーニング データのキュレーションと評価に Oasis を使用するための完全なプロセスを示します。
さらに、Oasis が厳選した 800 GB の対訳コーパスが公開されています。

要約(オリジナル)

Data is one of the most critical elements in building a large language model. However, existing systems either fail to customize a corpus curation pipeline or neglect to leverage comprehensive corpus assessment for iterative optimization of the curation. To this end, we present a pretraining corpus curation and assessment platform called Oasis — a one-stop system for data quality improvement and quantification with user-friendly interactive interfaces. Specifically, the interactive modular rule filter module can devise customized rules according to explicit feedback. The debiased neural filter module builds the quality classification dataset in a negative-centric manner to remove the undesired bias. The adaptive document deduplication module could execute large-scale deduplication with limited memory resources. These three parts constitute the customized data curation module. And in the holistic data assessment module, a corpus can be assessed in local and global views, with three evaluation means including human, GPT-4, and heuristic metrics. We exhibit a complete process to use Oasis for the curation and assessment of pretraining data. In addition, an 800GB bilingual corpus curated by Oasis is publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google