Geometric Sparse Coding in Wasserstein Space

要約

Wasserstein 辞書学習は、観測された分布を Wasserstein 重心の組み合わせとして生成する確率分布のコレクションを学習する教師なしアプローチです。
Wasserstein 辞書学習の既存の方法は、観測されたトレーニング データを近似するために重心補間を介して十分な表現能力を持つ辞書を探す目的を最適化しますが、辞書に関連付けられた係数に追加の構造特性を課すことはありません。
これにより、観測されたデータを密に表す辞書が作成され、係数の解釈が困難になり、学習した係数を下流のタスクで使用するときに経験的なパフォーマンスが低下する可能性があります。
対照的に、ユークリッド空間でのスパース辞書学習によって動機付けられて、近くの辞書要素のみを使用してデータポイントの表現を促進する、ワッサースタイン空間の幾何学的にスパースな正則化を提案します。
このアプローチがワッサースタイン空間のスパース表現につながり、重心表現の非一意性の問題に対処することを示します。
さらに、データが固定分布のワッサースタイン重心として生成される場合、この正則化器は、正則化されていないワッサースタイン辞書学習に適していない場合に、生成された分布の回復を容易にします。
合成データと実際のデータの実験を通じて、幾何学的に正則化されたアプローチにより、下流のアプリケーションでより優れたパフォーマンスを発揮するワッサースタイン空間で、より疎で解釈可能な辞書が得られることを示します。

要約(オリジナル)

Wasserstein dictionary learning is an unsupervised approach to learning a collection of probability distributions that generate observed distributions as Wasserstein barycentric combinations. Existing methods for Wasserstein dictionary learning optimize an objective that seeks a dictionary with sufficient representation capacity via barycentric interpolation to approximate the observed training data, but without imposing additional structural properties on the coefficients associated to the dictionary. This leads to dictionaries that densely represent the observed data, which makes interpretation of the coefficients challenging and may also lead to poor empirical performance when using the learned coefficients in downstream tasks. In contrast and motivated by sparse dictionary learning in Euclidean spaces, we propose a geometrically sparse regularizer for Wasserstein space that promotes representations of a data point using only nearby dictionary elements. We show this approach leads to sparse representations in Wasserstein space and addresses the problem of non-uniqueness of barycentric representation. Moreover, when data is generated as Wasserstein barycenters of fixed distributions, this regularizer facilitates the recovery of the generating distributions in cases that are ill-posed for unregularized Wasserstein dictionary learning. Through experimentation on synthetic and real data, we show that our geometrically regularized approach yields sparser and more interpretable dictionaries in Wasserstein space, which perform better in downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google