Towards Efficient Capsule Networks

要約

ニューラル ネットワークが画像処理のシーンを支配した瞬間から、対象となるタスクを解決するために必要な計算の複雑さが急増しました。このような持続不可能な傾向に対して、多くの戦略が開発され、野心的にパフォーマンスの維持を目標としています。
たとえば、スパース トポロジを促進すると、組み込みのリソースに制約のあるデバイスにディープ ニューラル ネットワーク モデルを展開できます。
最近、モデルの説明可能性を高めるためにカプセル ネットワークが導入されました。各カプセルは、オブジェクトまたはそのパーツの明示的な表現です。
これらのモデルはおもちゃのデータセットで有望な結果を示していますが、スケーラビリティが低いため、より複雑なタスクへの展開が妨げられています。
この作業では、カプセル表現に加えてスパース性を調査し、カプセルの数を減らすことで計算効率を向上させます。
Capsule Network を使用したプルーニングが、少ないメモリ要件、計算量、推論およびトレーニング時間で高度な一般化を実現する方法を示します。

要約(オリジナル)

From the moment Neural Networks dominated the scene for image processing, the computational complexity needed to solve the targeted tasks skyrocketed: against such an unsustainable trend, many strategies have been developed, ambitiously targeting performance’s preservation. Promoting sparse topologies, for example, allows the deployment of deep neural networks models on embedded, resource-constrained devices. Recently, Capsule Networks were introduced to enhance explainability of a model, where each capsule is an explicit representation of an object or its parts. These models show promising results on toy datasets, but their low scalability prevents deployment on more complex tasks. In this work, we explore sparsity besides capsule representations to improve their computational efficiency by reducing the number of capsules. We show how pruning with Capsule Network achieves high generalization with less memory requirements, computational effort, and inference and training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google