DsDm: Model-Aware Dataset Selection with Datamodels

要約

大規模なモデルをトレーニングするためのデータを選択する場合、標準的な方法は、データ品質に関する人間の概念と一致する例をフィルターすることです。
このようなフィルタリングにより、定性的にクリーンなデータポイントが得られ、直感的にモデルの動作が改善されるはずです。
ただし、実際にはその逆がよく起こります。「高品質」データ ソースとの類似性に基づいて選択すると、データをランダムに選択する場合と比べてパフォーマンスが向上しない (さらには悪くなる可能性がある) ことがわかりました。
データを選択するためのより良い方法を開発するには、データセットの選択を直接解決できる最適化問題として組み立てることから始めます。指定されたターゲット タスク、学習アルゴリズム、および候補データから、モデルのパフォーマンスを最大化するサブセットを選択します。
したがって、このフレームワークは、データ品質に関する厳選された概念を回避し、代わりに、学習プロセスがターゲット タスクを予測するためにトレーニング データポイントを使用する方法を明示的にモデル化します。
私たちの結果として得られた方法は、事前に指定されたタスクとこれまでに存在しなかったタスクの両方で言語モデル (LM) のパフォーマンスを大幅に向上させます。
具体的には、標準的な LM 問題を代表するターゲット タスクを選択し、さまざまなベンチマークで評価することで、選択したデータセットはベースライン手法と比較して 2 倍の計算乗数を提供します。

要約(オリジナル)

When selecting data for training large-scale models, standard practice is to filter for examples that match human notions of data quality. Such filtering yields qualitatively clean datapoints that intuitively should improve model behavior. However, in practice the opposite can often happen: we find that selecting according to similarity with ‘high quality’ data sources may not increase (and can even hurt) performance compared to randomly selecting data. To develop better methods for selecting data, we start by framing dataset selection as an optimization problem that we can directly solve for: given target tasks, a learning algorithm, and candidate data, select the subset that maximizes model performance. This framework thus avoids handpicked notions of data quality, and instead models explicitly how the learning process uses train datapoints to predict on the target tasks. Our resulting method greatly improves language model (LM) performance on both pre-specified tasks and previously unseen tasks. Specifically, choosing target tasks representative of standard LM problems and evaluating on diverse held-out benchmarks, our selected datasets provide a 2x compute multiplier over baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google