Alternating Local Enumeration (TnALE): Solving Tensor Network Structure Search with Fewer Evaluations

要約

タイトル：Alternating Local Enumeration（TnALE）：Tensor Network Structure Searchを少ない評価で解決する

要約：
– Tensor network（TN）は機械学習の強力なフレームワークですが、良いTNモデルを選択すること（TN構造検索（TN-SS）として知られています）は、課題であり、計算量が多くかかります。
– TNLSアプローチは、TN-SSタスクに有望な結果を示しましたが、その計算効率はまだ手頃ではなく、目的関数の多数の評価が必要です。
– TnALEは、各構造関連変数を交互にローカル列挙で更新する新しいアルゴリズムであり、TNLSに比べて評価数を大幅に減らすことができます。
– TNLSとTnALEの降下ステップを理論的に調査し、両方のアルゴリズムが近傍ごとに十分な目的関数の減少が達成されれば、線形収束を達成できることを証明しました。
– TNLSとTnALEの評価効率を比較し、通常TNLSでは近傍で目的関数の減少が達成されるまで$\Omega（2 ^ N）$の評価が必要である一方、TnALEでは理想的には$ O（N ^ 2 R）$の評価が十分であり、ここで$ N $はテンソル次数を、$ R $は近傍の「低ランク性」を反映します。
– 実験結果は、TnALEが、最先端のアルゴリズムよりも遥かに少ない評価で実質的に良いTNランクと置換を見つけることができることを確認しています。

要約(オリジナル)

Tensor network (TN) is a powerful framework in machine learning, but selecting a good TN model, known as TN structure search (TN-SS), is a challenging and computationally intensive task. The recent approach TNLS~\cite{li2022permutation} showed promising results for this task, however, its computational efficiency is still unaffordable, requiring too many evaluations of the objective function. We propose TnALE, a new algorithm that updates each structure-related variable alternately by local enumeration, \emph{greatly} reducing the number of evaluations compared to TNLS. We theoretically investigate the descent steps for TNLS and TnALE, proving that both algorithms can achieve linear convergence up to a constant if a sufficient reduction of the objective is \emph{reached} in each neighborhood. We also compare the evaluation efficiency of TNLS and TnALE, revealing that $\Omega(2^N)$ evaluations are typically required in TNLS for \emph{reaching} the objective reduction in the neighborhood, while ideally $O(N^2R)$ evaluations are sufficient in TnALE, where $N$ denotes the tensor order and $R$ reflects the \emph{“low-rankness”} of the neighborhood. Experimental results verify that TnALE can find practically good TN-ranks and permutations with vastly fewer evaluations than the state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI