Difference of Submodular Minimization via DC Programming

要約

2 つのサブモジュラー (DS) 関数の差を最小限に抑えることは、さまざまな機械学習の問題で自然に発生する問題です。
DS 問題は 2 つの凸 (DC) 関数の差の最小化として等価的に定式化できることはよく知られていますが、既存のアルゴリズムはこの関係を十分に活用していません。
DC 問題の古典的なアルゴリズムは DC アルゴリズム (DCA) と呼ばれます。
DS 最小化に対応する DC プログラムに適用する DCA のバリアントとその完全形式 (CDCA) を紹介します。
DCA の既存の収束プロパティを拡張し、DS 問題の収束プロパティに接続します。
DCA に関する我々の結果は、既存の DS アルゴリズムによって満たされる理論上の保証と一致すると同時に、収束特性のより完全な特性評価を提供します。
CDCA の場合、より強力な局所最小性保証が得られます。
数値結果は、音声コーパス選択と特徴選択という 2 つのアプリケーションにおいて、提案したアルゴリズムが既存のベースラインよりも優れていることを示しています。

要約(オリジナル)

Minimizing the difference of two submodular (DS) functions is a problem that naturally occurs in various machine learning problems. Although it is well known that a DS problem can be equivalently formulated as the minimization of the difference of two convex (DC) functions, existing algorithms do not fully exploit this connection. A classical algorithm for DC problems is called the DC algorithm (DCA). We introduce variants of DCA and its complete form (CDCA) that we apply to the DC program corresponding to DS minimization. We extend existing convergence properties of DCA, and connect them to convergence properties on the DS problem. Our results on DCA match the theoretical guarantees satisfied by existing DS algorithms, while providing a more complete characterization of convergence properties. In the case of CDCA, we obtain a stronger local minimality guarantee. Our numerical results show that our proposed algorithms outperform existing baselines on two applications: speech corpus selection and feature selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google