Dual PatchNorm

要約

デュアル PatchNorm: ビジョン トランスフォーマーのパッチ埋め込みレイヤーの前後にある 2 つのレイヤー正規化レイヤー (LayerNorms) を提案します。
Dual PatchNorm は、Transformer ブロック自体で代替の LayerNorm 配置戦略を徹底的に検索した結果よりも優れていることを示しています。
私たちの実験では、この些細な変更を組み込むことで、よく調整されたビジョン トランスフォーマーよりも精度が向上することが多く、問題はありません。

要約(オリジナル)

We propose Dual PatchNorm: two Layer Normalization layers (LayerNorms), before and after the patch embedding layer in Vision Transformers. We demonstrate that Dual PatchNorm outperforms the result of exhaustive search for alternative LayerNorm placement strategies in the Transformer block itself. In our experiments, incorporating this trivial modification, often leads to improved accuracy over well-tuned Vision Transformers and never hurts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google