Toxicity of the Commons: Curating Open-Source Pre-Training Data

要約

オープンソースの大規模言語モデルはますます利用可能になり、研究者や実務家の間で人気が高まっています。
オープンウェイト モデルでは大きな進歩が見られましたが、オープン トレーニング データは、主要なオープンウェイト モデル作成者によってまだ採用されていない実践です。
同時に、研究者たちは言語モデルをより安全にするために取り組んでいます。
私たちは、パブリック ドメイン データでトレーニングされたモデルによって有害な出力を削減するデータ キュレーション パイプラインを提案します。
これらのソースは形式も内容も Web テキストとは異なるため、パブリック ドメイン データを扱うには特有の課題があります。
多くの情報源は歴史文書であり、光学式文字認識 (OCR) の結果です。
したがって、毒性フィルタリングに対する現在の最先端のアプローチは、オープン データ モデルには実行不可能であるか、不適切であることがよくあります。
このペーパーでは、オープンデータの毒性フィルタリングのための新しい完全にオープンソースのパイプラインを紹介します。
私たちの貢献は 3 つあります。
私たちはカスタム トレーニング データセット ToxicCommons を作成します。これは、5 つの異なる側面 (人種/出身ベース、性別/性別ベース、宗教、能力ベースの差別、暴力) にわたって分類されたテキストで構成されています。
このデータセットを使用してカスタム分類器 Celadon をトレーニングし、オープン データ内の有毒コンテンツを大規模かつ効率的に検出するために使用できます。
最後に、トレーニングに使用できるフィルタリングされたデータに関して安全性フィルタリングを最適化する、コンテンツ フィルタリングへのバランスのとれたアプローチについて説明します。

要約(オリジナル)

Open-source large language models are becoming increasingly available and popular among researchers and practitioners. While significant progress has been made on open-weight models, open training data is a practice yet to be adopted by the leading open-weight models creators. At the same time, there researchers are working to make language models safer. We propose a data curation pipeline to reduce harmful outputs by models trained on public domain data. There are unique challenges to working with public domain data, as these sources differ from web text in both form and content. Many sources are historical documents and are the result of Optical Character Recognition (OCR). Consequently, current state-of-the-art approaches to toxicity filtering are often infeasible or inappropriate for open data models. In this paper, we introduce a new fully open-source pipeline for open-data toxicity filtering. Our contributions are threefold. We create a custom training dataset, ToxicCommons, which is composed of texts which have been classified across five different dimensions (racial/origin-based, gender/sex-based, religious, ability-based discrimination, and violence). We use this dataset to train a custom classifier, Celadon, that can be used to detect toxic content in open data more efficiently at a larger scale. Finally, we describe the balanced approach to content filtration that optimizes safety filtering with respect to the filtered data available for training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google