Constrained Optimization of Rank-One Functions with Indicator Variables

要約

タイトル：指示変数を用いたランク1関数の制約最適化
要約：
– 決定変数のサポートの制限をモデル化する制約において、ランク1凸関数の最小化に関する最適化問題は、様々な機械学習アプリケーションで現れる。
– これらの問題は、連続変数のサポートを識別するための指示変数を使用してモデル化されることが多い。
– 本論文では、このような問題のためのコンパクトな拡張形式を、展望的再形成技術を用いて調査する。
– 以前の研究の大部分がサポート関数の議論や不等式プログラミング技術に基づいて凸包結果を提供するのに対し、本研究では、展望関数によって誘発される隠れた円錐構造を利用する構成的アプローチを提案する。
– そのために、独立した連続変数と二進変数の線形関数を含む各円錐制約が含まれる一般的な円錐混合二進セットに関する凸包結果を最初に確立する。
– 指示関係をモデル化する制約に関連する集合の拡張表現に対して、これらの円錐表現を自然に持つランク1凸関数の上部グラフを示す。これにより、非線形分離可能な目的関数、連続変数の符号制約、指示変数の組み合わせ制約がある凸包記述の展望的形式を系統的に与えることができる。
– 我々は、スパース非負ロジスティック回帰問題で我々の結果の有効性を説明する。

要約(オリジナル)

Optimization problems involving minimization of a rank-one convex function over constraints modeling restrictions on the support of the decision variables emerge in various machine learning applications. These problems are often modeled with indicator variables for identifying the support of the continuous variables. In this paper we investigate compact extended formulations for such problems through perspective reformulation techniques. In contrast to the majority of previous work that relies on support function arguments and disjunctive programming techniques to provide convex hull results, we propose a constructive approach that exploits a hidden conic structure induced by perspective functions. To this end, we first establish a convex hull result for a general conic mixed-binary set in which each conic constraint involves a linear function of independent continuous variables and a set of binary variables. We then demonstrate that extended representations of sets associated with epigraphs of rank-one convex functions over constraints modeling indicator relations naturally admit such a conic representation. This enables us to systematically give perspective formulations for the convex hull descriptions of these sets with nonlinear separable or non-separable objective functions, sign constraints on continuous variables, and combinatorial constraints on indicator variables. We illustrate the efficacy of our results on sparse nonnegative logistic regression problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI