Replacing softmax with ReLU in Vision Transformers

要約

以前の研究では、attention Softmax を ReLU などのポイント単位のアクティベーションに置き換えると、精度の低下が観察されました。
ビジョントランスフォーマーのコンテキストでは、シーケンスの長さで除算すると、この劣化が軽減されることがわかります。
ImageNet-21k 上で小規模から大規模のビジョン トランスフォーマーをトレーニングする私たちの実験は、ReLU-attention が、コンピューティングの関数としてのスケーリング動作の点で、softmax-attention のパフォーマンスに近づくか、同等であることを示しています。

要約(オリジナル)

Previous research observed accuracy degradation when replacing the attention softmax with a point-wise activation such as ReLU. In the context of vision transformers, we find that this degradation is mitigated when dividing by sequence length. Our experiments training small to large vision transformers on ImageNet-21k indicate that ReLU-attention can approach or match the performance of softmax-attention in terms of scaling behavior as a function of compute.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google