Point Cloud Network: An Order of Magnitude Improvement in Linear Layer Parameter Count

要約

この論文では、ディープ ラーニング ネットワークにおける線形層の新しい実装であるポイント クラウド ネットワーク (PCN) アーキテクチャを紹介し、線形層における多層パーセプトロン (MLP) よりもこのアーキテクチャが優先されることを主張する経験的証拠を提供します。
線形層を直接比較するために、MLP アーキテクチャと PCN アーキテクチャの両方を使用して、オリジナルの AlexNet を含むいくつかのモデルをトレーニングしました (Krizhevsky et al.、2012)。
収集された主な結果は、CIFAR-10 および CIFAR-100 データセットにおけるモデル パラメーター数とトップ 1 のテスト精度です (Krizhevsky、2009)。
AlexNet と同等の当社の PCN である AlexNet-PCN16 は、線形層のパラメータを 99.5% 削減することで、元のアーキテクチャと同等の有効性 (テスト精度) を達成します。
すべてのトレーニングはクラウド RTX 4090 GPU で行われ、モデルの構築とトレーニングに pytorch を活用します。
この論文のトライアルを誰でも再現できるコードが提供されています。

要約(オリジナル)

This paper introduces the Point Cloud Network (PCN) architecture, a novel implementation of linear layers in deep learning networks, and provides empirical evidence to advocate for its preference over the Multilayer Perceptron (MLP) in linear layers. We train several models, including the original AlexNet, using both MLP and PCN architectures for direct comparison of linear layers (Krizhevsky et al., 2012). The key results collected are model parameter count and top-1 test accuracy over the CIFAR-10 and CIFAR-100 datasets (Krizhevsky, 2009). AlexNet-PCN16, our PCN equivalent to AlexNet, achieves comparable efficacy (test accuracy) to the original architecture with a 99.5% reduction of parameters in its linear layers. All training is done on cloud RTX 4090 GPUs, leveraging pytorch for model construction and training. Code is provided for anyone to reproduce the trials from this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google