Sharp Convergence Rates for Matching Pursuit

要約

私たちは、辞書からの要素の疎な線形結合によってターゲット関数を近似するためのマッチング追跡、または純粋な貪欲アルゴリズムの基本的な限界を研究します。
目的関数が辞書に対応する変分空間に含まれる場合、過去数十年にわたる多くの優れた研究では、一致追跡の誤差の上限と下限が得られましたが、一致しませんでした。
この論文の主な貢献は、このギャップを埋め、マッチング追跡の減衰率の明確な特徴を取得することです。
具体的には、既存の最良の上限を大幅に改善できないことを示す最悪のケースの辞書を構築します。
他の貪欲なアルゴリズムの変形とは異なり、収束率は最適ではなく、特定の非線形方程式の解によって決定されることがわかります。
これにより、どの程度の収縮でも最悪の場合のマッチング追跡が改善されると結論付けることができます。

要約(オリジナル)

We study the fundamental limits of matching pursuit, or the pure greedy algorithm, for approximating a target function by a sparse linear combination of elements from a dictionary. When the target function is contained in the variation space corresponding to the dictionary, many impressive works over the past few decades have obtained upper and lower bounds on the error of matching pursuit, but they do not match. The main contribution of this paper is to close this gap and obtain a sharp characterization of the decay rate of matching pursuit. Specifically, we construct a worst case dictionary which shows that the existing best upper bound cannot be significantly improved. It turns out that, unlike other greedy algorithm variants, the converge rate is suboptimal and is determined by the solution to a certain non-linear equation. This enables us to conclude that any amount of shrinkage improves matching pursuit in the worst case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google