Cons-training tensor networks

要約

この研究では、不等式を含む正確に任意の離散線形制約をスパース ブロック構造に組み込むように設計された \textit{制約付き行列積状態} (MPS) と呼ばれる新しいテンソル ネットワーク ファミリを導入します。
これらのテンソル ネットワークは、実行可能空間全体にわたって厳密にサポートされる分布のモデリング用に特に調整されており、最適化問題における探索空間の削減、過剰適合の軽減、トレーニング効率の向上、モデル サイズの縮小などの利点を提供します。
私たちのアプローチの中心となるのは、U(1) 対称テンソル ネットワークで伝統的に使用されてきた量子数の拡張である量子領域の概念であり、制約のないシナリオを含むあらゆる線形制約を捉えるように適応されています。
我々はさらに、これらの新しい MPS の新しい標準形式を開発します。これにより、量子領域融合規則に従ってテンソル ブロックのマージと因数分解が可能になり、最適な切り捨てスキームが可能になります。
この標準形式を利用して、教師なしトレーニング戦略を適用して、離散線形制約の対象となる任意の目的関数を最適化します。
私たちの方法の有効性は、二次ナップザック問題を解くことによって実証され、主要な非線形整数計画法ソルバーと比較して優れたパフォーマンスを達成します。
さらに、アプローチの複雑さとスケーラビリティを分析し、複雑な制約のある組み合わせ最適化問題への対処における可能性を実証します。

要約(オリジナル)

In this study, we introduce a novel family of tensor networks, termed \textit{constrained matrix product states} (MPS), designed to incorporate exactly arbitrary discrete linear constraints, including inequalities, into sparse block structures. These tensor networks are particularly tailored for modeling distributions with support strictly over the feasible space, offering benefits such as reducing the search space in optimization problems, alleviating overfitting, improving training efficiency, and decreasing model size. Central to our approach is the concept of a quantum region, an extension of quantum numbers traditionally used in U(1) symmetric tensor networks, adapted to capture any linear constraint, including the unconstrained scenario. We further develop a novel canonical form for these new MPS, which allow for the merging and factorization of tensor blocks according to quantum region fusion rules and permit optimal truncation schemes. Utilizing this canonical form, we apply an unsupervised training strategy to optimize arbitrary objective functions subject to discrete linear constraints. Our method’s efficacy is demonstrated by solving the quadratic knapsack problem, achieving superior performance compared to a leading nonlinear integer programming solver. Additionally, we analyze the complexity and scalability of our approach, demonstrating its potential in addressing complex constrained combinatorial optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google