Symmetry & Critical Points for Symmetric Tensor Decomposition Problems

要約

実対称テンソルのランク 1 項の和への分解に関連する非凸最適化問題を検討します。
豊富な対称構造を利用して、臨界点ファミリーのピュイズー級数表現を導出し、臨界値とヘッセ行列の正確な解析推定値を取得します。
鮮明な結果により、局所最適化手法に対するさまざまな幾何学的障害物の解析的特徴付けが可能になり、特に対称性、構造、解析特性が異なる複雑なサドル配列と極小値が明らかになります。
考慮されたすべての臨界点で発生する望ましい現象は、点のインデックス、つまり目的関数の値とともに増加する負のヘッセ固有値の数に関係します。
最後に、ニュートン ポリトープ引数を使用して、固定対称性のすべての臨界点を完全に列挙します。また、テンソルノルムの異なる選択の下で不変のままである大域的最小値のセットとは対照的に、非大域的最小値の特定の族は次のことを示します。
現れたり、消えたりします。

要約(オリジナル)

We consider the non-convex optimization problem associated with the decomposition of a real symmetric tensor into a sum of rank one terms. Use is made of the rich symmetry structure to derive Puiseux series representations of families of critical points, and so obtain precise analytic estimates on the critical values and the Hessian spectrum. The sharp results make possible an analytic characterization of various geometric obstructions to local optimization methods, revealing in particular a complex array of saddles and local minima which differ by their symmetry, structure and analytic properties. A desirable phenomenon, occurring for all critical points considered, concerns the index of a point, i.e., the number of negative Hessian eigenvalues, increasing with the value of the objective function. Lastly, a Newton polytope argument is used to give a complete enumeration of all critical points of fixed symmetry, and it is shown that contrarily to the set of global minima which remains invariant under different choices of tensor norms, certain families of non-global minima emerge, others disappear.

arxiv情報

著者 Yossi Arjevani,Gal Vinograd
発行日 2023-06-15 16:51:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.AG, math.NA, math.OC, stat.ML パーマリンク