Sketch and shift: a robust decoder for compressive clustering

要約

圧縮学習は、まず大規模なデータセットを低次元のスケッチ ベクトルに要約し、次にこのスケッチから学習に必要な潜在情報をデコードすることで、大規模学習のメモリ フットプリントを大幅に削減する新しいアプローチです。
ランダムな特徴に基づくスケッチの情報保存保証に関する最近の進歩を考慮して、主な目的は、この情報を堅牢かつ効率的に抽出するための、調整が容易なアルゴリズム (デコーダーと呼ばれる) を設計することです。
根底にある非凸最適化問題に対処するために、さまざまなヒューリスティックが提案されています。
圧縮クラスタリングの場合、標準ヒューリスティックは CL-OMPR (スライディング Frank-Wolfe の変形) です。
しかし、CL-OMPR はチューニングが難しく、その堅牢性の検討が軽視されていました。
この研究では、CL-OMPR の制限を回避するために、CL-OMPR の綿密な検査を行います。
特に、このアルゴリズムが有利なシナリオであってもクラスターの回復に失敗する可能性があることを示します。
洞察を得るために、このアルゴリズムの欠陥が、アルゴリズムの中核ステップに現れる相関関数の構造に関連する最適化の困難にどのように起因するかを示します。
これらの制限に対処するために、CL-OMPR を大幅に改善した代替デコーダを提案します。
その設計は、カーネル密度推定器の極大値を検出するための古典的なアプローチである平均シフト アルゴリズムから特にインスピレーションを受けています。
提案されたアルゴリズムは、以前よりも 10 倍小さい MNIST データセットのスケッチからクラスタリング情報を抽出できます。

要約(オリジナル)

Compressive learning is an emerging approach to drastically reduce the memory footprint of large-scale learning, by first summarizing a large dataset into a low-dimensional sketch vector, and then decoding from this sketch the latent information needed for learning. In light of recent progress on information preservation guarantees for sketches based on random features, a major objective is to design easy-to-tune algorithms (called decoders) to robustly and efficiently extract this information. To address the underlying non-convex optimization problems, various heuristics have been proposed. In the case of compressive clustering, the standard heuristic is CL-OMPR, a variant of sliding Frank-Wolfe. Yet, CL-OMPR is hard to tune, and the examination of its robustness was overlooked. In this work, we undertake a scrutinized examination of CL-OMPR to circumvent its limitations. In particular, we show how this algorithm can fail to recover the clusters even in advantageous scenarios. To gain insight, we show how the deficiencies of this algorithm can be attributed to optimization difficulties related to the structure of a correlation function appearing at core steps of the algorithm. To address these limitations, we propose an alternative decoder offering substantial improvements over CL-OMPR. Its design is notably inspired from the mean shift algorithm, a classic approach to detect the local maxima of kernel density estimators. The proposed algorithm can extract clustering information from a sketch of the MNIST dataset that is 10 times smaller than previously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google