MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning

要約

ディープ ネットワークのトレーニングと大規模なデータセットでのハイパーパラメーターの調整は、大量の計算を必要とします。
効率的なトレーニングのための主な研究方向の 1 つは、トレーニング データの一般化可能なサブセットを選択することでトレーニング コストを削減することです。
単純な適応型ランダムサブセット選択ベースラインと比較すると、既存のインテリジェントなサブセット選択アプローチは、モデル依存の勾配と特徴埋め込みの計算や、サブモジュール目標の貪欲な最大化の適用など、時間のかかるサブセット選択ステップのため、競争力がありません。
私たちの重要な洞察は、下流のモデル パラメーターへの依存を取り除くことで、前処理ステップとしてサブセットの選択が可能になり、追加コストなしで複数のモデルをトレーニングできるようになることです。
この研究では、モデルに依存しないサブセット選択フレームワークである MILO を提案します。これは、イージーからハードまでのカリキュラムを使用することで、優れたモデルの収束とパフォーマンスを可能にしながら、モデルのトレーニングからサブセットの選択を切り離します。
私たちの経験的結果は、MILO がパフォーマンスを損なうことなく、完全なデータセットのトレーニングまたはチューニングよりも $3\times ～ 10 \times$ 速くモデルをトレーニングし、$20\times ～ 75 \times$ 速くハイパーパラメーターを調整できることを示しています。

要約(オリジナル)

Training deep networks and tuning hyperparameters on large datasets is computationally intensive. One of the primary research directions for efficient training is to reduce training costs by selecting well-generalizable subsets of training data. Compared to simple adaptive random subset selection baselines, existing intelligent subset selection approaches are not competitive due to the time-consuming subset selection step, which involves computing model-dependent gradients and feature embeddings and applies greedy maximization of submodular objectives. Our key insight is that removing the reliance on downstream model parameters enables subset selection as a pre-processing step and enables one to train multiple models at no additional cost. In this work, we propose MILO, a model-agnostic subset selection framework that decouples the subset selection from model training while enabling superior model convergence and performance by using an easy-to-hard curriculum. Our empirical results indicate that MILO can train models $3\times – 10 \times$ faster and tune hyperparameters $20\times – 75 \times$ faster than full-dataset training or tuning without compromising performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google