Linearized Relative Positional Encoding

要約

相対位置エンコーディングは、位置情報を表すためにバニラおよび線形トランスフォーマーで広く使用されています。
ただし、バニラ トランスフォーマーの既存のエンコード方法は、必ずしも線形トランスフォーマーに直接適用できるわけではありません。これは、後者ではクエリとキー表現を別のカーネル関数に分解する必要があるためです。
それにもかかわらず、線形変圧器に適した符号化方法を設計するための原則はまだ研究されていません。
この研究では、既存のさまざまな線形相対位置符号化アプローチを標準形式にまとめ、ユニタリ変換を介した線形相対位置符号化アルゴリズムのファミリーをさらに提案します。
私たちの定式化は、線形時空間の複雑さを維持する新しい相対位置エンコード法の開発に使用できる原則的なフレームワークにつながります。
提案された線形相対位置エンコーディング (LRPE) ファミリは、さまざまなモデルを備えており、さまざまなアプリケーションに効果的なエンコーディングを導き出します。
実験によると、既存の方法と比較して、LRPE は言語モデリング、テキスト分類、画像分類において最先端のパフォーマンスを達成します。
一方、線形変換器に適用できる、より広範で相対的な位置符号化方法を設計するための一般的なパラダイムも強調しています。
コードは https://github.com/OpenNLPLab/Lrpe で入手できます。

要約(オリジナル)

Relative positional encoding is widely used in vanilla and linear transformers to represent positional information. However, existing encoding methods of a vanilla transformer are not always directly applicable to a linear transformer, because the latter requires a decomposition of the query and key representations into separate kernel functions. Nevertheless, principles for designing encoding methods suitable for linear transformers remain understudied. In this work, we put together a variety of existing linear relative positional encoding approaches under a canonical form and further propose a family of linear relative positional encoding algorithms via unitary transformation. Our formulation leads to a principled framework that can be used to develop new relative positional encoding methods that preserve linear space-time complexity. Equipped with different models, the proposed linearized relative positional encoding (LRPE) family derives effective encoding for various applications. Experiments show that compared with existing methods, LRPE achieves state-of-the-art performance in language modeling, text classification, and image classification. Meanwhile, it emphasizes a general paradigm for designing broadly more relative positional encoding methods that are applicable to linear transformers. The code is available at https://github.com/OpenNLPLab/Lrpe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google