Alternating Local Enumeration (TnALE): Solving Tensor Network Structure Search with Fewer Evaluations

要約

タイトル：Alternating Local Enumeration（TnALE）：評価回数を減らしてTensor Network構造探索を解決する

要約：
– Tensor network（TN）は機械学習において強力なフレームワークである。
– しかし、良いTNモデルを選択することであるTN構造探索（TN-SS）は、課題があり、計算量も多い。
– 最近のアプローチであるTNLSは、この課題に対して有望な結果を示した。ただし、その計算効率は余裕がなく、目的関数の評価が多すぎる。
– TnALEは、近所ごとにローカル列挙によって各構造関連変数を交互に更新する新しいアルゴリズムであり、TNLSと比較して評価回数が大幅に減少する。
– TNLSとTnALEの勾配降下ステップを理論的に調べ、十分な目的減少が各近傍で達成された場合、両方のアルゴリズムが線形収束することを証明する。
– TNLSとTnALEの評価効率を比較し、TNLSでは、目的減少を近隣で達成するには通常$\Omega（2 ^ N）$の評価が必要であるが、TnALEでは、理想的には$ O（N ^ 2R）$の評価が十分である（ $N$はテンソルの順序、$R$は近傍の「低ランク性」を反映する）。
– 実験結果は、TnALEが最新のアルゴリズムよりも大幅に少ない評価で実用的に良いTNランクと順列を見つけることを確認している。

要約(オリジナル)

Tensor network (TN) is a powerful framework in machine learning, but selecting a good TN model, known as TN structure search (TN-SS), is a challenging and computationally intensive task. The recent approach TNLS~\cite{li2022permutation} showed promising results for this task, however, its computational efficiency is still unaffordable, requiring too many evaluations of the objective function. We propose TnALE, a new algorithm that updates each structure-related variable alternately by local enumeration, \emph{greatly} reducing the number of evaluations compared to TNLS. We theoretically investigate the descent steps for TNLS and TnALE, proving that both algorithms can achieve linear convergence up to a constant if a sufficient reduction of the objective is \emph{reached} in each neighborhood. We also compare the evaluation efficiency of TNLS and TnALE, revealing that $\Omega(2^N)$ evaluations are typically required in TNLS for \emph{reaching} the objective reduction in the neighborhood, while ideally $O(N^2R)$ evaluations are sufficient in TnALE, where $N$ denotes the tensor order and $R$ reflects the \emph{“low-rankness”} of the neighborhood. Experimental results verify that TnALE can find practically good TN-ranks and permutations with vastly fewer evaluations than the state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI