What is the Relationship between Tensor Factorizations and Circuits (and How Can We Exploit it)?

要約

本稿では、回路表現とテンソル分解という、一見異なるが基本的に関連する2つの分野の厳密な結びつきを確立する。これらの分野を接続することで、両コミュニティに利益をもたらす一連の機会を強調する。我々の研究は、一般的なテンソル因数分解を回路言語で一般化し、様々な回路学習アルゴリズムを単一の一般化された階層的因数分解のフレームワークで統一する。具体的には、テンソル化された回路アーキテクチャを構築するために、モジュール化された「レゴブロック」アプローチを導入する。これにより、扱いやすさを維持しながら、様々な回路とテンソル因数分解モデルを体系的に構築し、探索することができる。この接続は、既存のモデルの類似点と相違点を明らかにするだけでなく、新しい回路／テンソル因数分解アーキテクチャを構築し最適化するための包括的なパイプラインの開発を可能にする。我々は、広範な経験的評価を通じて、我々のフレームワークの有効性を示し、確率論的モデリングにおけるテンソル因数分解の新たな研究機会を強調する。

要約(オリジナル)

This paper establishes a rigorous connection between circuit representations and tensor factorizations, two seemingly distinct yet fundamentally related areas. By connecting these fields, we highlight a series of opportunities that can benefit both communities. Our work generalizes popular tensor factorizations within the circuit language, and unifies various circuit learning algorithms under a single, generalized hierarchical factorization framework. Specifically, we introduce a modular ‘Lego block’ approach to build tensorized circuit architectures. This, in turn, allows us to systematically construct and explore various circuit and tensor factorization models while maintaining tractability. This connection not only clarifies similarities and differences in existing models, but also enables the development of a comprehensive pipeline for building and optimizing new circuit/tensor factorization architectures. We show the effectiveness of our framework through extensive empirical evaluations, and highlight new research opportunities for tensor factorizations in probabilistic modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL