An Introduction to Transformers

要約

【タイトル】Transformersの紹介
【要約】
– Transformerは、データポイントのシーケンスまたはセットを学習するために使用できるニューラルネットワークコンポーネントである。
– Transformerは、自然言語処理、コンピュータビジョン、時空間モデリングなどの分野で最近の進歩を推進している。
– Transformerの紹介はたくさんあるが、アーキテクチャの数学的な説明が明確でなかったり、設計の選択の直感が欠けていることが多い。
– さらに、研究が曲がりくねっていくと、Transformerの構成要素の説明は特異的になる場合がある。
– このノートでは、Transformerアーキテクチャの数学的に正確で直感的でクリーンな記述を目指している。

要約(オリジナル)

The transformer is a neural network component that can be used to learn useful representations of sequences or sets of datapoints. The transformer has driven recent advances in natural language processing, computer vision, and spatio-temporal modelling. There are many introductions to transformers, but most do not contain precise mathematical descriptions of the architecture and the intuitions behind the design choices are often also missing. Moreover, as research takes a winding path, the explanations for the components of the transformer can be idiosyncratic. In this note we aim for a mathematically precise, intuitive, and clean description of the transformer architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI