GIO: Gradient Information Optimization for Training Dataset Selection

要約

サンプルの品質が変化するため、またはパフォーマンスを犠牲にすることなくより少ないサンプルでトレーニングしたい場合は、利用可能なトレーニング サンプルのサブセットでモデルをトレーニングすることが有利なことがよくあります。
我々は、このデータ選択問題に対するスケーラブルでタスクに依存しないアプローチである勾配情報最適化 (GIO) を紹介します。これは、ターゲットの分布を表す (ラベルのない) サンプルの少数のセットのみを必要とします。
GIO は、実際には手に負えない自然な情報理論的な目標から始まります。
私たちの貢献は、目的を単純に緩和し、非常に効率的な実装を行うことで、拡張性を高めることができることを示したことです。
機械翻訳、スペル修正、画像認識の実験では、GIO が非常に小さなトレイン セットで優れた結果をもたらすことを示しました。
これらの発見は、GIO 自体のさまざまな表現モデルやハイパーパラメーターに対して堅牢です。
GIO はタスクやドメインに依存せず、新しいデータセットやドメインにすぐに適用できます。

要約(オリジナル)

It is often advantageous to train models on a subset of the available train examples, because the examples are of variable quality or because one would like to train with fewer examples, without sacrificing performance. We present Gradient Information Optimization (GIO), a scalable, task-agnostic approach to this data selection problem that requires only a small set of (unlabeled) examples representing a target distribution. GIO begins from a natural, information-theoretic objective that is intractable in practice. Our contribution is in showing that it can be made highly scalable through a simple relaxation of the objective and a highly efficient implementation. In experiments with machine translation, spelling correction, and image recognition, we show that GIO delivers outstanding results with very small train sets. These findings are robust to different representation models and hyperparameters for GIO itself. GIO is task- and domain-agnostic and can be applied out-of-the-box to new datasets and domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google