要約
大規模言語モデル（LLM）を新しいタスクに適応させ、その全体的な能力を向上させるには、多くの場合、大規模で高品質な学習データセットが必要です。大規模に生成された合成データは、実世界のデータが乏しかったり、入手が困難な場合の貴重な代替手段となります。しかし、合成データセットの品質を確保することは困難であり、開発者は多数のサンプルを手作業で検査・改良し、エラーや改善すべき点を特定しなければなりません。このプロセスには時間がかかり、専用のツールが必要です。我々は、統合された推論機能を持つ合成データセットの分析を簡素化するために設計されたオープンソースツールであるNeMo-Inspectorを紹介する。2つの実例を通して、その有効性を実証する。NeMo-Inspectorを用いて合成生成されたGSM-Plusデータセットの解析とクリーニングを行ったところ、低品質サンプルが46.99%から19.51%へと大幅に減少した。また、このツールはOpenMathモデルの生成エラーの特定と修正にも役立ち、MATHデータセットでは1.92%、GSM8KデータセットではNemotron-4-340Bから生成された合成データで微調整されたMeta-Llama-3-8Bモデルの精度が4.17%向上しました。
要約(オリジナル)
Adapting Large Language Models (LLMs) to novel tasks and enhancing their overall capabilities often requires large, high-quality training datasets. Synthetic data, generated at scale, serves a valuable alternative when real-world data is scarce or difficult to obtain. However, ensuring the quality of synthetic datasets is challenging, as developers must manually inspect and refine numerous samples to identify errors and areas for improvement. This process is time-consuming and requires specialized tools. We introduce NeMo-Inspector, an open-source tool designed to simplify the analysis of synthetic datasets with integrated inference capabilities. We demonstrate its effectiveness through two real-world cases. Analysis and cleaning of the synthetically generated GSM-Plus dataset with NeMo-Inspector led to a significant decrease in low-quality samples from 46.99% to 19.51%. The tool also helped identify and correct generation errors in OpenMath models, improving accuracy by 1.92% on the MATH dataset and by 4.17% on the GSM8K dataset for a Meta-Llama-3-8B model fine-tuned on synthetic data generated from Nemotron-4-340B.
arxiv情報
| 著者 | Daria Gitman,Igor Gitman,Evelina Bakhturina |
| 発行日 | 2025-05-01 22:47:06+00:00 |
| arxivサイト | arxiv_id(pdf) |