Functional Bilevel Optimization for Machine Learning

要約

この論文では、内部目的が関数空間上で最小化される、機械学習のバイレベル最適化問題に関する新しい関数の観点を紹介します。
この種の問題は、内部目的が予測関数のパラメーターに対して強く凸状であるパラメトリック設定で開発された方法を使用することによって最も多く解決されます。
機能的な観点では、この仮定に依存せず、特に内部予測関数として過剰パラメータ化されたニューラル ネットワークの使用が可能になります。
関数二レベル最適化問題に対するスケーラブルで効率的なアルゴリズムを提案し、自然な関数二レベル構造を許容する機器回帰および強化学習タスクに対するアプローチの利点を示します。

要約(オリジナル)

In this paper, we introduce a new functional point of view on bilevel optimization problems for machine learning, where the inner objective is minimized over a function space. These types of problems are most often solved by using methods developed in the parametric setting, where the inner objective is strongly convex with respect to the parameters of the prediction function. The functional point of view does not rely on this assumption and notably allows using over-parameterized neural networks as the inner prediction function. We propose scalable and efficient algorithms for the functional bilevel optimization problem and illustrate the benefits of our approach on instrumental regression and reinforcement learning tasks, which admit natural functional bilevel structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google