Prioritized training on points that are learnable, worth learning, and not yet learned (workshop version)

要約

「適切な」一連のトレーニング ポイントを選択する、モデル トレーニングを高速化する手法である Goldilocks 選択を紹介します。
私たちは、情報理論的な取得関数 (削減可能な検証損失) を提案し、それを小さなプロキシ モデル (GoldiProx) で計算して、検証セットに関する情報を最大化するトレーニング ポイントを効率的に選択します。
最適化文献で通常選択される「難しい」（例：高損失）ポイントは通常ノイズが多いのに対し、カリキュラム学習で優先されることが多い「簡単」（例：低ノイズ）サンプルは与える情報が少ないことを示します。
さらに、不確実なラベルが付いた点は、通常、能動学習の対象となり、タスクとの関連性が低くなる傾向があります。
対照的に、ゴルディロックス セレクションは「ちょうどいい」ポイントを選択し、経験的に上記のアプローチよりも優れたパフォーマンスを発揮します。
さらに、選択されたシーケンスは他のアーキテクチャに転送できます。
実務者は、再作成することなく、共有して再利用できます。

要約(オリジナル)

We introduce Goldilocks Selection, a technique for faster model training which selects a sequence of training points that are ‘just right’. We propose an information-theoretic acquisition function — the reducible validation loss — and compute it with a small proxy model — GoldiProx — to efficiently choose training points that maximize information about a validation set. We show that the ‘hard’ (e.g. high loss) points usually selected in the optimization literature are typically noisy, while the ‘easy’ (e.g. low noise) samples often prioritized for curriculum learning confer less information. Further, points with uncertain labels, typically targeted by active learning, tend to be less relevant to the task. In contrast, Goldilocks Selection chooses points that are ‘just right’ and empirically outperforms the above approaches. Moreover, the selected sequence can transfer to other architectures; practitioners can share and reuse it without the need to recreate it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google