Structured Pruning of Neural Networks for Constraints Learning

要約

近年、機械学習 (ML) モデルとオペレーション リサーチ (OR) ツールの統合が、がん治療、アルゴリズム構成、化学プロセスの最適化などのさまざまなアプリケーションで人気を集めています。
この分野では、ML と OR の組み合わせは、混合整数計画法 (MIP) 定式化を使用して ML モデル出力を表現することに依存することがよくあります。
文献における多数の研究では、多くの ML 予測子に対するこのような定式化が開発されており、特に人工ニューラル ネットワーク (ANN) は多くのアプリケーションで大きな関心を集めているため、重点が置かれています。
ただし、ANN には多数のパラメータが含まれることが多く、その結果、解決が非現実的な MIP 定式化が生じ、スケーラビリティが妨げられます。
実際、ML コミュニティは、パフォーマンスを損なうことなく ANN のパラメータ数を減らすためのいくつかの手法をすでに導入しています。これは、最新の ANN のサイズが大きいため、トレーニング中の計算量に大きな影響を与え、ストレージ用に大量のメモリ リソースが必要となるため、ML アプリケーションにとって課題となるためです。
。
このペーパーでは、これらの手法の 1 つであるプルーニングを、MIP に統合する前に ANN に適用した場合の有効性を紹介します。
ANN をプルーニングすることで、解決プロセスの速度が大幅に向上しました。
このコンテキストでは、他の ML 圧縮手法と比較して枝刈りがより適している理由を説明し、最も適切な枝刈り戦略を特定します。
このアプローチの可能性を強調するために、複数の層を持つフィードフォワード ニューラル ネットワークを使用して敵対的な例を構築する実験を実施します。
私たちの結果は、枝刈りによって最終決定の質を損なうことなく解決時間を大幅に短縮し、以前は解決できなかったインスタンスの解決が可能になることを示しています。

要約(オリジナル)

In recent years, the integration of Machine Learning (ML) models with Operation Research (OR) tools has gained popularity across diverse applications, including cancer treatment, algorithmic configuration, and chemical process optimization. In this domain, the combination of ML and OR often relies on representing the ML model output using Mixed Integer Programming (MIP) formulations. Numerous studies in the literature have developed such formulations for many ML predictors, with a particular emphasis on Artificial Neural Networks (ANNs) due to their significant interest in many applications. However, ANNs frequently contain a large number of parameters, resulting in MIP formulations that are impractical to solve, thereby impeding scalability. In fact, the ML community has already introduced several techniques to reduce the parameter count of ANNs without compromising their performance, since the substantial size of modern ANNs presents challenges for ML applications as it significantly impacts computational efforts during training and necessitates significant memory resources for storage. In this paper, we showcase the effectiveness of pruning, one of these techniques, when applied to ANNs prior to their integration into MIPs. By pruning the ANN, we achieve significant improvements in the speed of the solution process. We discuss why pruning is more suitable in this context compared to other ML compression techniques, and we identify the most appropriate pruning strategies. To highlight the potential of this approach, we conduct experiments using feed-forward neural networks with multiple layers to construct adversarial examples. Our results demonstrate that pruning offers remarkable reductions in solution times without hindering the quality of the final decision, enabling the resolution of previously unsolvable instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google