Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers

要約

この研究では、標準的な浅いフィードフォワード ネットワークを使用して、シーケンス間タスク用の最先端のアーキテクチャであるオリジナルの Transformer モデルのアテンション メカニズムの動作を模倣することの有効性の分析を示します。
Transformer のアテンション メカニズムの主要な要素を、知識の蒸留によって元のコンポーネントを使用してトレーニングされた単純なフィードフォワード ネットワークに置き換えます。
IWSLT2017 データセットに対して行われた私たちの実験では、これらの「注意を必要としないトランスフォーマー」の能力が元のアーキテクチャのパフォーマンスに匹敵することが明らかになりました。
厳密なアブレーション研究と、さまざまな置換ネットワークのタイプとサイズの実験を通じて、私たちはアプローチの実行可能性をサポートする洞察を提供します。
これは、アテンションメカニズムをエミュレートする際の浅いフィードフォワードネットワークの適応性を明らかにするだけでなく、シーケンス間のタスクの複雑なアーキテクチャを合理化する可能性を強調します。

要約(オリジナル)

This work presents an analysis of the effectiveness of using standard shallow feed-forward networks to mimic the behavior of the attention mechanism in the original Transformer model, a state-of-the-art architecture for sequence-to-sequence tasks. We substitute key elements of the attention mechanism in the Transformer with simple feed-forward networks, trained using the original components via knowledge distillation. Our experiments, conducted on the IWSLT2017 dataset, reveal the capacity of these ‘attentionless Transformers’ to rival the performance of the original architecture. Through rigorous ablation studies, and experimenting with various replacement network types and sizes, we offer insights that support the viability of our approach. This not only sheds light on the adaptability of shallow feed-forward networks in emulating attention mechanisms but also underscores their potential to streamline complex architectures for sequence-to-sequence tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google