Functional Interpolation for Relative Positions Improves Long Context Transformers

要約

トレーニングに使用される入力よりも長い入力に対する Transformer のパフォーマンスの低下を防ぐことは、これらのモデルのコンテキスト長を拡張する上で重要な課題でした。
Transformer アーキテクチャには基本的に処理できる入力シーケンスの長さに制限はありませんが、トレーニング中に使用される位置エンコーディングの選択によって、より長い入力に対するこれらのモデルのパフォーマンスが制限される可能性があります。
我々は、Transformer のより長いコンテキストへの一般化を改善するために、プログレッシブ補間 FIRE を使用した新しい機能的相対位置エンコーディングを提案します。
これが、T5 の RPE、Alibi、Kerple などの一般的な相対位置エンコーディングの一部を表現できることを理論的に証明しています。
次に、ゼロショット言語モデリングと長文ベンチマークの両方で、FIRE モデルがより長いコンテキストに対してより適切に一般化できることを経験的に示します。

要約(オリジナル)

Preventing the performance decay of Transformers on inputs longer than those used for training has been an important challenge in extending the context length of these models. Though the Transformer architecture has fundamentally no limits on the input sequence lengths it can process, the choice of position encoding used during training can limit the performance of these models on longer inputs. We propose a novel functional relative position encoding with progressive interpolation, FIRE, to improve Transformer generalization to longer contexts. We theoretically prove that this can represent some of the popular relative position encodings, such as T5’s RPE, Alibi, and Kerple. We next empirically show that FIRE models have better generalization to longer contexts on both zero-shot language modeling and long text benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google