The Claire French Dialogue Dataset

要約

OpenLLM France イニシアチブの文脈で LINAGORA Labs のメンバーによって作成されたリソース、Claire French Dialogue Dataset (CFDD) を紹介します。
CFDD は、多言語のオープンソース言語モデルの開発を促進するために、フランス語のトランスクリプトや舞台劇から約 1 億 6,000 万語を収録したコーパスであり、私たちが収集して一般に公開しています。
この文書では、CFDD を構成する 24 の個別のコーパスについて説明し、元の情報源へのリンクと引用を提供します。
また、完全な CFDD データセットを 8 つのサブコーパス カテゴリに分割する提案を示し、最終的なデータセットの形式を標準化するために私たちが従ったプロセスについても説明します。
最後に、同様の取り組みと将来の方向性について説明します。

要約(オリジナル)

We present the Claire French Dialogue Dataset (CFDD), a resource created by members of LINAGORA Labs in the context of the OpenLLM France initiative. CFDD is a corpus containing roughly 160 million words from transcripts and stage plays in French that we have assembled and publicly released in an effort to further the development of multilingual, open source language models. This paper describes the 24 individual corpora of which CFDD is composed and provides links and citations to their original sources. It also provides our proposed breakdown of the full CFDD dataset into eight categories of subcorpora and describes the process we followed to standardize the format of the final dataset. We conclude with a discussion of similar work and future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google