Masked Capsule Autoencoders

要約

私たちは、自己教師ありの方法で事前トレーニングを利用する最初のカプセル ネットワークであるマスクド カプセル オートエンコーダー (MCAE) を提案します。
カプセル ネットワークは、畳み込みニューラル ネットワーク (CNN) の強力な代替手段として登場し、ビジョン トランスフォーマー (ViT) と比較すると有利な特性を示していますが、より複雑なデータが与えられた場合に効果的に学習するのに苦労しており、カプセル ネットワーク モデルは次のような結果をもたらします。
最新のタスクに対応できない。
私たちが提案する MCAE モデルは、教師ありの方法で微調整する前の事前トレーニング段階としてマスクされた画像モデリングを使用するようにカプセル ネットワークを再定式化することで、この問題を軽減します。
いくつかの実験とアブレーション研究を通じて、CNN や ViT と同様に、カプセル ネットワークも自己教師あり事前トレーニングから恩恵を受けることができ、このニューラル ネットワーク ドメインのさらなる進歩への道を開くことができることを実証しました。
たとえば、Imagenette データセット (Imagenet サイズの画像の 10 クラスのデータセット) での事前トレーニングでは、カプセル ネットワークの最先端の結果が得られただけでなく、純粋に教師ありトレーニングと比較して 9% の改善も達成しました。
したがって、カプセル ネットワークは、現実的なサイズの画像に対するカプセル ネットワークのパフォーマンスを向上させるために、新しいカプセル デコーダを使用したマスクされた画像モデリング フレームワークの恩恵を受け、そのフレームワーク内でトレーニングされる必要があることを提案します。

要約(オリジナル)

We propose Masked Capsule Autoencoders (MCAE), the first Capsule Network that utilises pretraining in a self-supervised manner. Capsule Networks have emerged as a powerful alternative to Convolutional Neural Networks (CNNs), and have shown favourable properties when compared to Vision Transformers (ViT), but have struggled to effectively learn when presented with more complex data, leading to Capsule Network models that do not scale to modern tasks. Our proposed MCAE model alleviates this issue by reformulating the Capsule Network to use masked image modelling as a pretraining stage before finetuning in a supervised manner. Across several experiments and ablations studies we demonstrate that similarly to CNNs and ViTs, Capsule Networks can also benefit from self-supervised pretraining, paving the way for further advancements in this neural network domain. For instance, pretraining on the Imagenette dataset, a dataset of 10 classes of Imagenet-sized images, we achieve not only state-of-the-art results for Capsule Networks but also a 9% improvement compared to purely supervised training. Thus we propose that Capsule Networks benefit from and should be trained within a masked image modelling framework, with a novel capsule decoder, to improve a Capsule Network’s performance on realistic-sized images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google