Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How

要約

事前トレーニング済みモデルの数が増え続ける中、機械学習の実践者は、どの事前トレーニング済みモデルを使用するか、新しいデータセットに合わせてそれを微調整する方法に常に直面しています。
この論文では、最適な事前学習モデルとそれを微調整するためのハイパーパラメータを共同で探索する方法論を提案します。
私たちの手法は、一連のデータセット上で複数のハイパーパラメーター構成を備えた多くの事前トレーニング済みモデルのパフォーマンスに関する知識を伝達します。
この目的のために、87 のデータセットで 24 の事前トレーニング済み画像分類モデルを微調整して大規模なメタデータセットを生成するために、20,000 を超えるハイパーパラメーター構成を評価しました。
このメタデータセットの学習曲線に基づいてマルチフィデリティ パフォーマンス予測子をメタ学習し、新しいデータセットの高速ハイパーパラメータ最適化に使用します。
私たちは、結果として得られるアプローチが、新しいデータセットの正確な事前トレーニング済みモデルとその最適なハイパーパラメーターを迅速に選択できることを経験的に示しています。

要約(オリジナル)

With the ever-increasing number of pretrained models, machine learning practitioners are continuously faced with which pretrained model to use, and how to finetune it for a new dataset. In this paper, we propose a methodology that jointly searches for the optimal pretrained model and the hyperparameters for finetuning it. Our method transfers knowledge about the performance of many pretrained models with multiple hyperparameter configurations on a series of datasets. To this aim, we evaluated over 20k hyperparameter configurations for finetuning 24 pretrained image classification models on 87 datasets to generate a large-scale meta-dataset. We meta-learn a multi-fidelity performance predictor on the learning curves of this meta-dataset and use it for fast hyperparameter optimization on new datasets. We empirically demonstrate that our resulting approach can quickly select an accurate pretrained model for a new dataset together with its optimal hyperparameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google