ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method

要約

カプセル ネットワークは、深層学習アーキテクチャの強力なクラスとして登場し、畳み込みニューラル ネットワーク (CNN) と比較して比較的少ないパラメータで堅牢なパフォーマンスを発揮することで知られています。
ただし、その固有の効率は、Capsule レイヤー間の接続を確立する低速の反復ルーティング メカニズムによって影が薄くなることが多く、その結果、スケーリング不能につながる計算上の課題が生じます。
この論文では、トレーニング可能なプロトタイプ クラスタリングにヒントを得た、新しい非反復的なルーティング メカニズムを紹介します。
この革新的なアプローチは、パフォーマンスの効率を向上させるまではいかなくても、維持しながら、計算の複雑さを軽減することを目的としています。
さらに、共有の Capsule サブスペースを利用することで、下位レベルの Capsule を上位レベルの Capsule に投影する必要がなくなり、トレーニング中のメモリ要件が大幅に削減されます。
私たちのアプローチは、現在最高の非反復カプセル ネットワークと、反復アプローチでは効率的に処理するには計算量が多すぎる Imagewoof データセットでのテストと比較して、優れた結果を示しています。
私たちの調査結果は、カプセル ネットワークの運用効率とパフォーマンスを向上させ、ますます複雑化する計算シナリオでのアプリケーションへの道を開く、私たちが提案する方法論の可能性を強調しています。

要約(オリジナル)

Capsule Networks have emerged as a powerful class of deep learning architectures, known for robust performance with relatively few parameters compared to Convolutional Neural Networks (CNNs). However, their inherent efficiency is often overshadowed by their slow, iterative routing mechanisms which establish connections between Capsule layers, posing computational challenges resulting in an inability to scale. In this paper, we introduce a novel, non-iterative routing mechanism, inspired by trainable prototype clustering. This innovative approach aims to mitigate computational complexity, while retaining, if not enhancing, performance efficacy. Furthermore, we harness a shared Capsule subspace, negating the need to project each lower-level Capsule to each higher-level Capsule, thereby significantly reducing memory requisites during training. Our approach demonstrates superior results compared to the current best non-iterative Capsule Network and tests on the Imagewoof dataset, which is too computationally demanding to handle efficiently by iterative approaches. Our findings underscore the potential of our proposed methodology in enhancing the operational efficiency and performance of Capsule Networks, paving the way for their application in increasingly complex computational scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google