CoLT5: Faster Long-Range Transformers with Conditional Computation

要約

多くの自然言語処理タスクは長い入力の恩恵を受けますが、Transformers を使用して長いドキュメントを処理すると、2 次アテンションの複雑さだけでなく、すべてのトークンにフィードフォワードとプロジェクション レイヤーを適用するため、コストがかかります。
ただし、特に長いドキュメントの場合、すべてのトークンが等しく重要であるとは限りません。
CoLT5 は、条件付き計算を採用することでこの直感に基づいて構築され、フィードフォワード層と注意層の両方で重要なトークンにより多くのリソースを投入する長入力トランスフォーマー モデルです。
CoLT5 は、はるかに高速なトレーニングと推論で LongT5 よりも強力なパフォーマンスを達成し、長時間入力 SCROLLS ベンチマークで SOTA を達成することを示しています。
さらに、CoLT5 は非常に長い入力を効果的かつ扱いやすく利用でき、最大 64k の入力長まで強力なゲインを示します。

要約(オリジナル)

Many natural language processing tasks benefit from long inputs, but processing long documents with Transformers is expensive — not only due to quadratic attention complexity but also from applying feedforward and projection layers to every token. However, not all tokens are equally important, especially for longer documents. We propose CoLT5, a long-input Transformer model that builds on this intuition by employing conditional computation, devoting more resources to important tokens in both feedforward and attention layers. We show that CoLT5 achieves stronger performance than LongT5 with much faster training and inference, achieving SOTA on the long-input SCROLLS benchmark. Moreover, CoLT5 can effectively and tractably make use of extremely long inputs, showing strong gains up to 64k input length.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google