Huber-energy measure quantization

要約

測度量子化手順、つまり $Q$ ディラック質量の合計 ($Q$ は量子化パラメータ) によってターゲットの確率則 (およびより一般的には符号付き有限変分測度) の最良の近似を見つけるアルゴリズムについて説明します。
この手順は、元の測定値とその量子化されたバージョンの間の統計的距離を最小限に抑えることによって実装されます。
距離は負定カーネルから構築され、必要に応じてオンザフライで計算し、確率的最適化アルゴリズム (SGD、Adam など) に供給できます。
私たちは、最適測定量子化器の存在に関する基本的な問題を理論的に調査し、適切な動作を保証するために必要なカーネル特性が何であるかを特定します。
二乗統計距離に対して 2 つの最適な線形不偏 (BLUE) 推定器を提案し、それらを HEMQ と呼ばれる不偏手順で使用して、最適な量子化を見つけます。
私たちは、多次元ガウス混合、ウィナー空間立方体、イタリアのワイン品種、MNIST 画像データベースなどのいくつかのデータベースで HEMQ をテストします。
結果は、HEMQ アルゴリズムが堅牢かつ多用途であり、フーバー エネルギー カーネルのクラスとしては、予想される直観的な動作と一致することを示しています。

要約(オリジナル)

We describe a measure quantization procedure i.e., an algorithm which finds the best approximation of a target probability law (and more generally signed finite variation measure) by a sum of $Q$ Dirac masses ($Q$ being the quantization parameter). The procedure is implemented by minimizing the statistical distance between the original measure and its quantized version; the distance is built from a negative definite kernel and, if necessary, can be computed on the fly and feed to a stochastic optimization algorithm (such as SGD, Adam, …). We investigate theoretically the fundamental questions of existence of the optimal measure quantizer and identify what are the required kernel properties that guarantee suitable behavior. We propose two best linear unbiased (BLUE) estimators for the squared statistical distance and use them in an unbiased procedure, called HEMQ, to find the optimal quantization. We test HEMQ on several databases: multi-dimensional Gaussian mixtures, Wiener space cubature, Italian wine cultivars and the MNIST image database. The results indicate that the HEMQ algorithm is robust and versatile and, for the class of Huber-energy kernels, matches the expected intuitive behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google