Boosting Gradient Ascent for Continuous DR-submodular Maximization

要約

投影勾配上昇 (PGA) は、機械学習およびオペレーションズリサーチの分野で最も一般的に使用される最適化スキームです。
それにもかかわらず、多くの研究と例は、PGA 手法では連続 DR サブモジュラー最大化問題の厳密な近似比を達成できない可能性があることを示しています。
この課題に対処するために、本稿ではブースティング手法を紹介します。この手法は、目的関数にわずかな変更を加えるだけで、標準 PGA の近似保証を \emph{最適} に効率的に改善できます。
私たちのブースティング手法の基本的なアイデアは、非忘却探索を利用して新しい補助関数 $F$ を導出することであり、その定常点は元の DR サブモジュール目標 $f$ のグローバル最大値の優れた近似になります。
具体的には、$f$ が単調で $\gamma$ 弱 DR サブモジュラーである場合、固定点がより優れた $(1-e^{-\gamma})$ 近似を提供できる補助関数 $F$ を提案します。
$f$ 自体の静止点によって保証される $(\gamma^2/(1+\gamma^2))$ 近似。
同様に、非単調な場合については、静止点が最適な $\frac{1-\min_{\boldsymbol{x}\in\mathcal{C}}\|\boldsymbol を達成できる別の補助関数 $F$ を考案します。
{x}\|_{\infty}}{4}$ 近似保証。$\mathcal{C}$ は凸制約セットです。
対照的に、元の非単調 DR サブモジュラー関数の静止点は任意に悪い可能性があります~\citep{chen2023continuous}。
さらに、4 つの問題に関するブースティング手法のスケーラビリティを実証します。
これら 4 つの問題すべてにおいて、ブースティング PGA アルゴリズムの結果として得られたバリアントは、近似比や効率などのいくつかの側面で以前の標準 PGA を上回りました。
最後に、ブースティング PGA 法の有効性を実証する数値実験で理論的発見を裏付けます。

要約(オリジナル)

Projected Gradient Ascent (PGA) is the most commonly used optimization scheme in machine learning and operations research areas. Nevertheless, numerous studies and examples have shown that the PGA methods may fail to achieve the tight approximation ratio for continuous DR-submodular maximization problems. To address this challenge, we present a boosting technique in this paper, which can efficiently improve the approximation guarantee of the standard PGA to \emph{optimal} with only small modifications on the objective function. The fundamental idea of our boosting technique is to exploit non-oblivious search to derive a novel auxiliary function $F$, whose stationary points are excellent approximations to the global maximum of the original DR-submodular objective $f$. Specifically, when $f$ is monotone and $\gamma$-weakly DR-submodular, we propose an auxiliary function $F$ whose stationary points can provide a better $(1-e^{-\gamma})$-approximation than the $(\gamma^2/(1+\gamma^2))$-approximation guaranteed by the stationary points of $f$ itself. Similarly, for the non-monotone case, we devise another auxiliary function $F$ whose stationary points can achieve an optimal $\frac{1-\min_{\boldsymbol{x}\in\mathcal{C}}\|\boldsymbol{x}\|_{\infty}}{4}$-approximation guarantee where $\mathcal{C}$ is a convex constraint set. In contrast, the stationary points of the original non-monotone DR-submodular function can be arbitrarily bad~\citep{chen2023continuous}. Furthermore, we demonstrate the scalability of our boosting technique on four problems. In all of these four problems, our resulting variants of boosting PGA algorithm beat the previous standard PGA in several aspects such as approximation ratio and efficiency. Finally, we corroborate our theoretical findings with numerical experiments, which demonstrate the effectiveness of our boosting PGA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google