Compound and Parallel Modes of Tropical Convolutional Neural Networks

要約

畳み込みニューラルネットワークはますます深く複雑になり、計算コストが高くなりました。
熱帯の畳み込みニューラルネットワーク（TCNN）は乗算を減少させますが、標準のCNNと比較してパフォーマンスが低下しています。
これに対処するために、2つの新しいバリアント – 化合物TCNN（CTCNN）と並列TCNN（PTCNN） – トロピカルミニプラスと最大プラスカーネルの組み合わせを使用して、従来の畳み込みカーネルを置き換えることを提案します。
これにより、乗算とバランス効率とパフォーマンスが低下します。
さまざまなデータセットでの実験では、CTCNNおよびPTCNNが他のCNNメソッドのパフォーマンスに一致するか、それを超えることが示されています。
これらをより深いアーキテクチャで従来のCNNと組み合わせると、パフォーマンスも向上します。
さらに、効率的かつ効果的なモデルを目指して、精度損失を最小限に抑えてパラメーターと乗算を減らす単純化されたTCNNアーキテクチャを調査しています。

要約(オリジナル)

Convolutional neural networks have become increasingly deep and complex, leading to higher computational costs. While tropical convolutional neural networks (TCNNs) reduce multiplications, they underperform compared to standard CNNs. To address this, we propose two new variants – compound TCNN (cTCNN) and parallel TCNN (pTCNN)-that use combinations of tropical min-plus and max-plus kernels to replace traditional convolution kernels. This reduces multiplications and balances efficiency with performance. Experiments on various datasets show that cTCNN and pTCNN match or exceed the performance of other CNN methods. Combining these with conventional CNNs in deeper architectures also improves performance. We are further exploring simplified TCNN architectures that reduce parameters and multiplications with minimal accuracy loss, aiming for efficient and effective models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google