Reducing Discretization Error in the Frank-Wolfe Method

要約

タイトル：Frank-Wolfe法における離散化エラーの削減

要約：

– Frank-Wolfeアルゴリズムは、1つのイテレーションあたりの計算量が高速であるため、構造的制約のある機械学習アプリケーションでよく使用される手法です。
– しかし、この手法の主要な制限の1つは収束率が遅いことであり、漸近的に解に非常に近い場合でも蛇行するステップ方向のために加速するのが難しいとされています。
– この問題は離散化の副産物であるため、Frank-Wolfeの\emph{flow}（漸近的に小さいステップサイズでの軌跡）は蛇行しません。これを解決するためには、離散化エラーを減らすことが必要であり、より安定した方法が生まれ、より良い収束特性を持つようになる。
– この論文では、2つの改良方法が提案されている。1つ目は、最適化された高次の離散化スキームを直接適用する多段階Frank-Wolfe法。2つ目は、離散化エラーが少なく、一般的な凸集合における局所収束率が$O(1/k^{3/2})$になるLMO平均スキームの提案である。

要約(オリジナル)

The Frank-Wolfe algorithm is a popular method in structurally constrained machine learning applications, due to its fast per-iteration complexity. However, one major limitation of the method is a slow rate of convergence that is difficult to accelerate due to erratic, zig-zagging step directions, even asymptotically close to the solution. We view this as an artifact of discretization; that is to say, the Frank-Wolfe \emph{flow}, which is its trajectory at asymptotically small step sizes, does not zig-zag, and reducing discretization error will go hand-in-hand in producing a more stabilized method, with better convergence properties. We propose two improvements: a multistep Frank-Wolfe method that directly applies optimized higher-order discretization schemes; and an LMO-averaging scheme with reduced discretization error, and whose local convergence rate over general convex sets accelerates from a rate of $O(1/k)$ to up to $O(1/k^{3/2})$.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI