TropNNC: Structured Neural Network Compression Using Tropical Geometry

要約

線形層と畳み込み層および ReLU アクティベーションを備えたニューラル ネットワークを圧縮するためのフレームワークである TropNNC を紹介します。
TropNNC は、トロピカル幾何学を使用し、Misiakos らの研究を拡張した、機械/深層学習への幾何学的アプローチに基づく構造化圧縮フレームワークです。
（2022年）。
ゾノトープのハウスドルフ距離を標準的な連続形式で使用して、以前の研究と比較して熱帯多項式のより厳密な近似限界を実現します。
この機能強化は、ニューラル ネットワークの優れた機能近似を実現する効果的な圧縮アルゴリズムの開発につながります。
私たちの方法は他のフレームワークと比較して実装が大幅に簡単で、トレーニング データ サンプルの入手可能性に依存しません。
MNIST、CIFAR、ImageNet データセットに対する広範な実証的評価を通じてフレームワークを検証します。
私たちの結果は、TropNNC が ThinNet (線形層の圧縮においてはそれを上回る) や CUP などの最先端の手法と同等のパフォーマンスを達成していることを示しています。
私たちの知る限り、これはトロピカル ジオメトリを使用してこれを実現する最初の方法です。

要約(オリジナル)

We present TropNNC, a framework for compressing neural networks with linear and convolutional layers and ReLU activations. TropNNC is a structured compression framework based on a geometrical approach to machine/deep learning, using tropical geometry and extending the work of Misiakos et al. (2022). We use the Hausdorff distance of zonotopes in its standard continuous form to achieve a tighter approximation bound for tropical polynomials compared to previous work. This enhancement leads to the development of an effective compression algorithm that achieves superior functional approximations of neural networks. Our method is significantly easier to implement compared to other frameworks, and does not depend on the availability of training data samples. We validate our framework through extensive empirical evaluations on the MNIST, CIFAR, and ImageNet datasets. Our results demonstrate that TropNNC achieves performance on par with state-of-the-art methods like ThiNet (even surpassing it in compressing linear layers) and CUP. To the best of our knowledge, it is the first method that achieves this using tropical geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google