SVDinsTN: An Integrated Method for Tensor Network Representation with Efficient Structure Search

要約

テンソル ネットワーク (TN) 表現は、データ分析と機械学習のための強力な手法です。
実際には、コンパクトな表現を達成するために最適な構造を探索することを目的とした、困難な TN 構造探索 (TN-SS) 問題が含まれます。
既存の TN-SS 手法は、主に 2 レベル最適化手法を採用していますが、構造評価を繰り返すため、過度の計算コストが発生します。
この問題に対処するために、我々は、SVD にインスピレーションを得た TN 分解 (SVDinsTN) と呼ばれる効率的な統合 (単一レベル) 手法を提案し、退屈な構造評価を繰り返す必要性を排除します。
完全に接続された TN の各エッジに対角係数を挿入することで、TN コアと対角係数を同時に計算し、係数のスパース性によって最もコンパクトな TN 構造が明らかになります。
実世界のデータに関する実験結果は、SVDinsTN が既存の TN-SS 手法と比較して、同等レベルの表現能力を維持しながら、実行時に約 $10\sim{}10^3$ 倍の高速化を達成することを示しています。

要約(オリジナル)

Tensor network (TN) representation is a powerful technique for data analysis and machine learning. It practically involves a challenging TN structure search (TN-SS) problem, which aims to search for the optimal structure to achieve a compact representation. Existing TN-SS methods mainly adopt a bi-level optimization method that leads to excessive computational costs due to repeated structure evaluations. To address this issue, we propose an efficient integrated (single-level) method named SVD-inspired TN decomposition (SVDinsTN), eliminating the need for repeated tedious structure evaluation. By inserting a diagonal factor for each edge of the fully-connected TN, we calculate TN cores and diagonal factors simultaneously, with factor sparsity revealing the most compact TN structure. Experimental results on real-world data demonstrate that SVDinsTN achieves approximately $10\sim{}10^3$ times acceleration in runtime compared to the existing TN-SS methods while maintaining a comparable level of representation ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google