Transformer models: an introduction and catalog

要約

ここ数年で、Transformer ファミリーの数十のモデルが流星のように出現するのを見てきました。そのすべてに、面白い名前が付いていますが、一目瞭然ではありません。
このホワイト ペーパーの目的は、最も一般的な Transformer モデルのやや包括的でありながら単純なカタログと分類を提供することです。
このペーパーには、Transformer モデルの最も重要な側面と革新についての紹介も含まれています。

要約(オリジナル)

In the past few years we have seen the meteoric appearance of dozens of models of the Transformer family, all of which have funny, but not self-explanatory, names. The goal of this paper is to offer a somewhat comprehensive but simple catalog and classification of the most popular Transformer models. The paper also includes an introduction to the most important aspects and innovation in Transformer models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google