Efficient Unbiased Sparsification

要約

ベクトル $p\in \mathbb{R}^n$ の不偏 $m$ スパース化は、最大 $m< を持つ平均 $p$ を持つランダム ベクトル $Q\in \mathbb{R}^n$ です。 n$ の非ゼロ座標。 不偏スパース化では、バイアスを導入せずに元のベクトルを圧縮します。 これは、フェデレーテッド ラーニングや疎な確率分布のサンプリングなど、さまざまな状況で発生します。 理想的には、不偏スパース化は、$Q$ が元の $p$ からどれだけ離れているかを測定する発散関数 $\mathsf{Div}(Q,p)$ の期待値も最小化するはずです。 この意味で $Q$ が最適であれば、それを効率的であると呼びます。 私たちの主な結果は、順列不変または加法分離可能な発散に対する効率的な不偏スパース化を説明します。 驚くべきことに、順列不変発散の特徴付けは、二乗ユークリッド距離に対する最適 $Q$ のクラスがカルバック・ライブラー発散に対する最適 $Q$ のクラスと一致するという意味で、発散関数の選択に対して堅牢です。 さまざまな分岐のいずれか。

要約(オリジナル)

An unbiased $m$-sparsification of a vector $p\in \mathbb{R}^n$ is a random vector $Q\in \mathbb{R}^n$ with mean $p$ that has at most $marxiv情報

提供元, 利用サービス

arxiv.jp, Google