Generative Learning of Continuous Data by Tensor Networks

要約

テンソル ネットワークは、多体量子システムのモデリングという起源を超えて、特に教師なし生成学習における機械学習の問題を解決するための有望なモデルのクラスとして浮上しています。
テンソル ネットワーク生成モデルは、量子にインスピレーションを得た性質から生じる多くの望ましい機能を備えていますが、これまでは主にバイナリ データまたはカテゴリカル データに限定されており、現実世界のモデリング問題での有用性は限られていました。
私たちは、連続確率変数を含む分布から学習できる、連続データ用のテンソル ネットワーク生成モデルの新しいファミリーを導入することで、この問題を克服しました。
行列積の状態の設定でメソッドを開発し、最初にこのモデル族が任意の精度で適度に滑らかな確率密度関数を近似できることを証明する普遍的な表現性定理を導出します。
次に、いくつかの合成データセットと現実世界のデータセットでこのモデルのパフォーマンスをベンチマークし、モデルが連続変数と離散変数の分布を適切に学習して一般化していることがわかりました。
私たちはさまざまなデータ ドメインをモデル化する方法を開発し、限られたメモリや計算リソースでモデルのパフォーマンスを向上させることがわかっているトレーニング可能な圧縮層を導入します。
全体として、私たちの方法は、急速に成長している生成学習分野における量子にインスピレーションを受けた方法の有効性についての重要な理論的および経験的証拠を提供します。

要約(オリジナル)

Beyond their origin in modeling many-body quantum systems, tensor networks have emerged as a promising class of models for solving machine learning problems, notably in unsupervised generative learning. While possessing many desirable features arising from their quantum-inspired nature, tensor network generative models have previously been largely restricted to binary or categorical data, limiting their utility in real-world modeling problems. We overcome this by introducing a new family of tensor network generative models for continuous data, which are capable of learning from distributions containing continuous random variables. We develop our method in the setting of matrix product states, first deriving a universal expressivity theorem proving the ability of this model family to approximate any reasonably smooth probability density function with arbitrary precision. We then benchmark the performance of this model on several synthetic and real-world datasets, finding that the model learns and generalizes well on distributions of continuous and discrete variables. We develop methods for modeling different data domains, and introduce a trainable compression layer which is found to increase model performance given limited memory or computational resources. Overall, our methods give important theoretical and empirical evidence of the efficacy of quantum-inspired methods for the rapidly growing field of generative learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google