HiQ-Lip: The First Quantum-Classical Hierarchical Method for Global Lipschitz Constant Estimation of ReLU Networks

要約

ニューラルネットワークのグローバルなリプシッツ定数を推定することは、それらの堅牢性と一般化能力を理解し、改善するために重要です。
ただし、正確な計算はNPハードであり、現在のセミデフィニットプログラミング（SDP）メソッドは、メモリの使用量や処理速度の低下などの課題に直面しています。
この論文では、\ TextBf {Hiq-Lip}を提案します。これは、コヒーレントISINGマシン（CIM）を活用してグローバルなリプシッツ定数を推定するハイブリッド量子古典的な階層方法です。
推定に取り組み、それを二次制約のないバイナリ最適化（QUBO）問題に変換し、マルチレベルのグラフの粗大化と改良戦略を実装して、現代の量子ハードウェアの制約に適応します。
完全に接続されたニューラルネットワークに関する実験的評価は、HIQ-LIPが最先端の方法に匹敵する推定値を提供するだけでなく、計算プロセスを大幅に加速することを示しています。
256の隠されたニューロンを備えた2層ニューラルネットワークを含む特定のテストでは、HIQ-LIPは解決速度を2倍にし、既存の最良の方法であるLipoptよりも正確な上限を提供します。
これらの調査結果は、ニューラルネットワークの堅牢性の推定を進める上で、小規模な量子デバイスの有望なユーティリティを強調しています。

要約(オリジナル)

Estimating the global Lipschitz constant of neural networks is crucial for understanding and improving their robustness and generalization capabilities. However, precise calculations are NP-hard, and current semidefinite programming (SDP) methods face challenges such as high memory usage and slow processing speeds. In this paper, we propose \textbf{HiQ-Lip}, a hybrid quantum-classical hierarchical method that leverages Coherent Ising Machines (CIMs) to estimate the global Lipschitz constant. We tackle the estimation by converting it into a Quadratic Unconstrained Binary Optimization (QUBO) problem and implement a multilevel graph coarsening and refinement strategy to adapt to the constraints of contemporary quantum hardware. Our experimental evaluations on fully connected neural networks demonstrate that HiQ-Lip not only provides estimates comparable to state-of-the-art methods but also significantly accelerates the computation process. In specific tests involving two-layer neural networks with 256 hidden neurons, HiQ-Lip doubles the solving speed and offers more accurate upper bounds than the existing best method, LiPopt. These findings highlight the promising utility of small-scale quantum devices in advancing the estimation of neural network robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google