Relax and penalize: a new bilevel approach to mixed-binary hyperparameter optimization

要約

近年、機械学習モデルの高次元ハイパーパラメータを効率的に推定するためのバイレベルアプローチが非常に一般的になりました。
ただし、これまでのところ、バイナリ パラメーターは継続的な緩和および丸め戦略によって処理されており、一貫性のないソリューションにつながる可能性があります。
これに関連して、適切なペナルティ項に基づく等価な連続バイレベル再定式化に頼ることにより、混合バイナリ ハイパーパラメータの困難な最適化に取り組みます。
私たちは、適切な仮定の下で、混合バイナリ ソリューションを提供することが保証されるアルゴリズム フレームワークを提案します。
さらに、この方法の汎用性により、提案されたフレームワーク内で既存の連続バイレベル ソルバーを安全に使用することができます。
特定の機械学習問題、つまり回帰問題におけるグループ疎性構造の推定に対するアプローチのパフォーマンスを評価します。
報告された結果は、私たちの手法がリラクゼーションと丸め込みに基づく最先端のアプローチよりも優れていることを明らかに示しています。

要約(オリジナル)

In recent years, bilevel approaches have become very popular to efficiently estimate high-dimensional hyperparameters of machine learning models. However, to date, binary parameters are handled by continuous relaxation and rounding strategies, which could lead to inconsistent solutions. In this context, we tackle the challenging optimization of mixed-binary hyperparameters by resorting to an equivalent continuous bilevel reformulation based on an appropriate penalty term. We propose an algorithmic framework that, under suitable assumptions, is guaranteed to provide mixed-binary solutions. Moreover, the generality of the method allows to safely use existing continuous bilevel solvers within the proposed framework. We evaluate the performance of our approach for a specific machine learning problem, i.e., the estimation of the group-sparsity structure in regression problems. Reported results clearly show that our method outperforms state-of-the-art approaches based on relaxation and rounding

arxiv情報

提供元, 利用サービス

arxiv.jp, Google