Sequencer: Deep LSTM for Image Classification

要約

最近のコンピューター ビジョンの研究では、ビジョン トランスフォーマー (ViT) の出現により、さまざまなアーキテクチャ設計の取り組みが急速に変革されました。ViT は、自然言語処理に見られる自己注意を使用して最先端の画像分類パフォーマンスを達成し、MLP-Mixer は達成しました。
単純な多層パーセプトロンを使用した競争力のあるパフォーマンス。
対照的に、いくつかの研究では、慎重に再設計された畳み込みニューラル ネットワーク (CNN) が、これらの新しいアイデアに頼ることなく、ViT に匹敵する高度なパフォーマンスを達成できることも示唆されています。
このような背景から、どのような誘導バイアスがコンピュータ ビジョンに適しているかについて関心が高まっています。
ここでは、これらの問題に新しい視点を提供する、ViT に代わる斬新で競争力のあるアーキテクチャである Sequencer を提案します。
ViT とは異なり、Sequencer は自己注意層ではなく LSTM を使用して長期的な依存関係をモデル化します。
また、LSTM を垂直方向と水平方向の LSTM に分解してパフォーマンスを向上させる 2 次元バージョンの Sequencer モジュールも提案します。
その単純さにもかかわらず、いくつかの実験は、Sequencer が非常にうまく機能することを示しています。
それだけでなく、優れた転送性と、2 倍の解像度帯域での堅牢な解像度適応性があることを示しています。

要約(オリジナル)

In recent computer vision research, the advent of the Vision Transformer (ViT) has rapidly revolutionized various architectural design efforts: ViT achieved state-of-the-art image classification performance using self-attention found in natural language processing, and MLP-Mixer achieved competitive performance using simple multi-layer perceptrons. In contrast, several studies have also suggested that carefully redesigned convolutional neural networks (CNNs) can achieve advanced performance comparable to ViT without resorting to these new ideas. Against this background, there is growing interest in what inductive bias is suitable for computer vision. Here we propose Sequencer, a novel and competitive architecture alternative to ViT that provides a new perspective on these issues. Unlike ViTs, Sequencer models long-range dependencies using LSTMs rather than self-attention layers. We also propose a two-dimensional version of Sequencer module, where an LSTM is decomposed into vertical and horizontal LSTMs to enhance performance. Despite its simplicity, several experiments demonstrate that Sequencer performs impressively well: Sequencer2D-L, with 54M parameters, realizes 84.6% top-1 accuracy on only ImageNet-1K. Not only that, we show that it has good transferability and the robust resolution adaptability on double resolution-band.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google