Non-negative Tensor Mixture Learning for Discrete Density Estimation

要約

Kullback-Leiblerの発散を最適化する非陰性テンソル分解のための期待最大化（EM）ベースの統一フレームワークを提示します。
各Mステップおよび学習率の調整の反復を回避するために、低ランク分解と多体近似の間に一般的な関係を確立します。
この接続を使用して、多体近似の閉形型ソリューションがM-STEPですべてのパラメーターを同時に更新することを活用します。
私たちのフレームワークは、CP、タッカー、テンソル列車の分解など、さまざまな低ランク構造の統一された方法論だけでなく、それらの混合物も提供します。
特に、混合物中の各低ランクテンソルの重みは、データから学習できます。これにより、構造を事前に選択せずに、さまざまな低ランク構造の利点を活用できます。
私たちのフレームワークは、従来のテンソルベースのアプローチと比較した場合、離散密度の推定と分類に関して全体的に優れた一般化を提供することを経験的に実証します。

要約(オリジナル)

We present an expectation-maximization (EM) based unified framework for non-negative tensor decomposition that optimizes the Kullback-Leibler divergence. To avoid iterations in each M-step and learning rate tuning, we establish a general relationship between low-rank decompositions and many-body approximations. Using this connection, we exploit that the closed-form solution of the many-body approximation updates all parameters simultaneously in the M-step. Our framework offers not only a unified methodology for a variety of low-rank structures, including CP, Tucker, and Tensor Train decompositions, but also their mixtures. Notably, the weights of each low-rank tensor in the mixture can be learned from the data, which enables us to leverage the advantage of different low-rank structures without careful selection of the structure in advance. We empirically demonstrate that our framework overall provides superior generalization in terms of discrete density estimation and classification when compared to conventional tensor-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google