Functional Bilevel Optimization for Machine Learning

要約

本論文では、機械学習における2値最適化問題（内的目的が関数空間上で最小化される問題）について、新しい関数的視点を導入する。この種の問題は、内的目的が予測関数のパラメータに関して強く凸である、パラメトリックな設定で開発された方法を用いて解決されることがほとんどである。関数的な視点はこの仮定に依存せず、特に内部予測関数としてオーバーパラメータ化されたニューラルネットワークを使用することを可能にする。我々は、関数的2値最適化問題に対するスケーラブルで効率的なアルゴリズムを提案し、道具的回帰と強化学習タスクにおいて我々のアプローチの利点を説明する。

要約(オリジナル)

In this paper, we introduce a new functional point of view on bilevel optimization problems for machine learning, where the inner objective is minimized over a function space. These types of problems are most often solved by using methods developed in the parametric setting, where the inner objective is strongly convex with respect to the parameters of the prediction function. The functional point of view does not rely on this assumption and notably allows using over-parameterized neural networks as the inner prediction function. We propose scalable and efficient algorithms for the functional bilevel optimization problem and illustrate the benefits of our approach on instrumental regression and reinforcement learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL