Bayesian Optimization Meets Self-Distillation

要約

タイトル：Bayesian Optimization Meets Self-Distillation
要約：
・Bayesian optimization（BO）は、複数のトレーニング試行からの観測に基づいて、有望なハイパーパラメータ設定を反復的に提案することにより、モデルの性能向上に大きく貢献しています。
・ただし、以前の試行からの部分的な知識（つまり、トレーニングされたモデルの測定パフォーマンスとそのハイパーパラメータ設定のみ）が転送されます。
・一方、Self-Distillation（SD）は、タスクモデル自体によって学習された部分的な知識のみを転送します。
・それぞれのトレーニング試行から得られた様々な知識を最大限に活用するために、BOとSDを組み合わせたBOSSフレームワークを提案します。
・BOSSは、BOによって有望なハイパーパラメータ設定を提案し、従来のBOプロセスでは放棄される以前の試行から事前学習されたモデルをSDのために注意深く選択します。
・BOSSは、一般的な画像分類、ノイズのあるラベルでの学習、半教師あり学習、医療画像分析タスクを含む広範なタスクにおいて、BOとSDの両方よりも大幅に優れた性能を発揮します。

要約(オリジナル)

Bayesian optimization (BO) has contributed greatly to improving model performance by suggesting promising hyperparameter configurations iteratively based on observations from multiple training trials. However, only partial knowledge (i.e., the measured performances of trained models and their hyperparameter configurations) from previous trials is transferred. On the other hand, Self-Distillation (SD) only transfers partial knowledge learned by the task model itself. To fully leverage the various knowledge gained from all training trials, we propose the BOSS framework, which combines BO and SD. BOSS suggests promising hyperparameter configurations through BO and carefully selects pre-trained models from previous trials for SD, which are otherwise abandoned in the conventional BO process. BOSS achieves significantly better performance than both BO and SD in a wide range of tasks including general image classification, learning with noisy labels, semi-supervised learning, and medical image analysis tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI