Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation

要約

タスクがシーケンシャルな順序に従うハイパーパラメータ最適化 (HPO) 用の転移学習のバージョンである、順序付き転送ハイパーパラメータ最適化 (OTHPO) を導入します。
最先端の転送 HPO とは異なり、各タスクはその直前のタスクと最も相関していることが前提となります。
これは、より多くのデータが収集されるにつれてハイパーパラメータが返される、多くのデプロイ設定と一致します。
たとえば、映画や評価が追加されるにつれて、一連の映画推薦システムを調整します。
私たちは正式な定義を提案し、関連する問題との違いを概説し、最先端の転送 HPO を上回る基本的な OTHPO 手法を提案します。
10 個のベンチマークを使用して、順序を考慮することの重要性を経験的に示します。
ベンチマークは徐々にデータを蓄積する設定であり、XGBoost、ランダム フォレスト、近似 k 最近傍、エラスティック ネット、サポート ベクター マシン、および別個の現実世界の動機付けられた最適化問題に及びます。
注文された転送 HPO に関する将来の研究を促進するために、ベンチマークをオープンソースにします。

要約(オリジナル)

We introduce ordered transfer hyperparameter optimisation (OTHPO), a version of transfer learning for hyperparameter optimisation (HPO) where the tasks follow a sequential order. Unlike for state-of-the-art transfer HPO, the assumption is that each task is most correlated to those immediately before it. This matches many deployed settings, where hyperparameters are retuned as more data is collected; for instance tuning a sequence of movie recommendation systems as more movies and ratings are added. We propose a formal definition, outline the differences to related problems and propose a basic OTHPO method that outperforms state-of-the-art transfer HPO. We empirically show the importance of taking order into account using ten benchmarks. The benchmarks are in the setting of gradually accumulating data, and span XGBoost, random forest, approximate k-nearest neighbor, elastic net, support vector machines and a separate real-world motivated optimisation problem. We open source the benchmarks to foster future research on ordered transfer HPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google