An Integrated Data Processing Framework for Pretraining Foundation Models

要約

基礎モデルの機能は、大規模で多様な高品質の事前トレーニング データに大きく依存しています。
データ品質を向上させるために、研究者や実務家は多くの場合、さまざまなソースからデータセットを手動でキュレートし、データ リポジトリごとに専用のデータ クレンジング パイプラインを開発する必要があります。
統一されたデータ処理フレームワークが欠如しているため、このプロセスは反復的で面倒です。
この問題を軽減するために、さまざまな粒度レベルの一連の演算子で構成される処理モジュールと、洗練されたデータの調査と評価をサポートする分析モジュールを統合するデータ処理フレームワークを提案します。
提案されたフレームワークは使いやすく、柔軟性が非常に高いです。
このデモ ペーパーでは、まずこのフレームワークの使用方法をいくつかのユースケース例とともに紹介し、次に ChatGPT による自動評価と GPT-2 モデルの事前トレーニングでのエンドツーエンド評価によるデータ品質の向上におけるその有効性を実証します。
コードとデモ ビデオは GitHub からアクセスできます。

要約(オリジナル)

The ability of the foundation models heavily relies on large-scale, diverse, and high-quality pretraining data. In order to improve data quality, researchers and practitioners often have to manually curate datasets from difference sources and develop dedicated data cleansing pipeline for each data repository. Lacking a unified data processing framework, this process is repetitive and cumbersome. To mitigate this issue, we propose a data processing framework that integrates a Processing Module which consists of a series of operators at different granularity levels, and an Analyzing Module which supports probing and evaluation of the refined data. The proposed framework is easy to use and highly flexible. In this demo paper, we first introduce how to use this framework with some example use cases and then demonstrate its effectiveness in improving the data quality with an automated evaluation with ChatGPT and an end-to-end evaluation in pretraining the GPT-2 model. The code and demonstration videos are accessible on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google