SAVA: Scalable Learning-Agnostic Data Valuation

要約

機械学習モデルのトレーニングのためのデータの選択は、個々のデータポイントの品質と関連性に影響を与えるノイズの多いアーティファクトが含まれているため、非常に重要です。
これらの騒々しいアーティファクトは、モデルのパフォーマンスに影響を与えます。
この問題をデータ評価タスクとして定式化し、クリーンでキュレーションされた検証セットと類似している、または類似していることに応じて、トレーニングセットのデータポイントに値を割り当てます。
最近、LAVAは、モデルのパフォーマンスに依存せずに、トレーニングデータを効率的に評価するために、大規模な騒々しいトレーニングデータセットとクリーンな検証セットの間で最適な輸送（OT）の使用を実証しました。
ただし、LAVAアルゴリズムでは、入力としてデータセット全体を必要とします。これにより、アプリケーションがより大きなデータセットに制限されます。
データセット全体の代わりにデータポイントのバッチで計算を実行する確率的（勾配）アプローチのスケーラビリティに触発されたため、データポイントのバッチに計算されたLAVAのスケーラブルなバリアントであるSavaを同様に提案します。
直感的に、Savaは、データ評価のために階層的に定義されたOTをレバレッジするLAVAと同じスキームに従います。
ただし、LAVAはデータセット全体を処理しますが、Savaはデータセットをデータポイントのバッチに分割し、それらのバッチでOT問題計算を実行します。
さらに、OT問題にエントロピー正規化を使用することのトレードオフに関する理論的派生には、以前の作業の改良が含まれます。
広範な実験を実行して、Savaが数百万のデータポイントを持つ大規模なデータセットにスケーリングできることを実証し、データの評価パフォーマンスをトレードオフしないことを実証します。

要約(オリジナル)

Selecting data for training machine learning models is crucial since large, web-scraped, real datasets contain noisy artifacts that affect the quality and relevance of individual data points. These noisy artifacts will impact model performance. We formulate this problem as a data valuation task, assigning a value to data points in the training set according to how similar or dissimilar they are to a clean and curated validation set. Recently, LAVA demonstrated the use of optimal transport (OT) between a large noisy training dataset and a clean validation set, to value training data efficiently, without the dependency on model performance. However, the LAVA algorithm requires the entire dataset as an input, this limits its application to larger datasets. Inspired by the scalability of stochastic (gradient) approaches which carry out computations on batches of data points instead of the entire dataset, we analogously propose SAVA, a scalable variant of LAVA with its computation on batches of data points. Intuitively, SAVA follows the same scheme as LAVA which leverages the hierarchically defined OT for data valuation. However, while LAVA processes the whole dataset, SAVA divides the dataset into batches of data points, and carries out the OT problem computation on those batches. Moreover, our theoretical derivations on the trade-off of using entropic regularization for OT problems include refinements of prior work. We perform extensive experiments, to demonstrate that SAVA can scale to large datasets with millions of data points and does not trade off data valuation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google