Tensor Networks Meet Neural Networks: A Survey and Future Perspectives

要約

【タイトル】テンソルネットワークとニューラルネットワーク：調査と将来の展望
【要約】
– テンソルネットワーク(TNs)とニューラルネットワーク(NNs)は、2つの基本的なデータモデリング手法である。
– TNsは、大規模テンソルの次元の爆発を多項式的複雑度に変換することで、次元の呪いを解決するために導入された。それに応じて、TNsは量子物理学や機械学習の分野で注目されている。
– 一方、NNsは、コンピュータビジョン、自然言語処理、ロボット工学などの多様なアプリケーションで優れたパフォーマンスを発揮している。
– 興味深いことに、これら2つのネットワークは、異なる観察から生じているにもかかわらず、共通の多線形構造によって本質的にリンクされており、TNsとNNsの組み合わせに関する知的開発の多数の動機を提供している。
– この論文では、これらの組み合わせをテンソリアルニューラルネットワーク(TNNs)と呼び、ネットワークの圧縮、情報融合、および量子回路シミュレーションの3つの主要な側面でTNNsについて紹介する。
– さらに、本調査では、TNNsを改善する方法、TNNsを実装するための柔軟なツールボックス、およびTNNsの開発を文書化し、将来の方向性をハイライトする。
– 私たちの知る限り、これは、NNs、TNs、および量子回路の相互関係を橋渡しする最初の包括的な調査である。
– 私たちは、\url {https://github.com/tnbar/awesome-tensorial-neural-networks}にTNNsのカタログリストを提供している。

要約(オリジナル)

Tensor networks (TNs) and neural networks (NNs) are two fundamental data modeling approaches. TNs were introduced to solve the curse of dimensionality in large-scale tensors by converting an exponential number of dimensions to polynomial complexity. As a result, they have attracted significant attention in the fields of quantum physics and machine learning. Meanwhile, NNs have displayed exceptional performance in various applications, e.g., computer vision, natural language processing, and robotics research. Interestingly, although these two types of networks originate from different observations, they are inherently linked through the common multilinearity structure underlying both TNs and NNs, thereby motivating a significant number of intellectual developments regarding combinations of TNs and NNs. In this paper, we refer to these combinations as tensorial neural networks (TNNs), and present an introduction to TNNs in three primary aspects: network compression, information fusion, and quantum circuit simulation. Furthermore, this survey also explores methods for improving TNNs, examines flexible toolboxes for implementing TNNs, and documents TNN development while highlighting potential future directions. To the best of our knowledge, this is the first comprehensive survey that bridges the connections among NNs, TNs, and quantum circuits. We provide a curated list of TNNs at \url{https://github.com/tnbar/awesome-tensorial-neural-networks}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI