Data Processing for the OpenGPT-X Model Family

要約

このホワイトペーパーでは、OpenGPT-Xプロジェクト向けに開発されたデータ準備パイプラインの包括的な概要を説明します。これは、オープンおよびハイパフォーマンスの多言語大手言語モデル（LLMS）を作成することを目的とした大規模なイニシアチブです。
プロジェクトの目標は、欧州連合内の実際のアプリケーションに特に焦点を当てて、すべての主要なヨーロッパ言語をカバーするモデルを提供することです。
モデルトレーニング用の最終データセットの準備に対するデータ選択と要件定義から始めて、すべてのデータ処理手順を説明します。
これらの各カテゴリは個別のパイプラインによって処理されるため、キュレーションされたデータとWebデータを区別します。キュレーションされたデータは最小限のフィルタリングを受け、Webデータは広範なフィルタリングと重複排除を必要とします。
この区別により、両方のパイプラインの特殊なアルゴリズムソリューションの開発が導かれました。
処理方法の説明に加えて、データセットの詳細な分析を提供し、ヨーロッパのデータ規制との透明性と整合性を高めます。
最後に、プロジェクト中に直面する重要な洞察と課題を共有し、LLMSの大規模な多言語データ準備の将来の努力に関する推奨事項を提供します。

要約(オリジナル)

This paper presents a comprehensive overview of the data preparation pipeline developed for the OpenGPT-X project, a large-scale initiative aimed at creating open and high-performance multilingual large language models (LLMs). The project goal is to deliver models that cover all major European languages, with a particular focus on real-world applications within the European Union. We explain all data processing steps, starting with the data selection and requirement definition to the preparation of the final datasets for model training. We distinguish between curated data and web data, as each of these categories is handled by distinct pipelines, with curated data undergoing minimal filtering and web data requiring extensive filtering and deduplication. This distinction guided the development of specialized algorithmic solutions for both pipelines. In addition to describing the processing methodologies, we provide an in-depth analysis of the datasets, increasing transparency and alignment with European data regulations. Finally, we share key insights and challenges faced during the project, offering recommendations for future endeavors in large-scale multilingual data preparation for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google