Anatomy of Neural Language Models

要約

生成 AI と転移学習の分野は、近年、特に自然言語処理 (NLP) の分野で目覚ましい進歩を遂げています。
トランスフォーマーはこれらの進歩の中心であり、最先端のトランスフォーマーベースの言語モデル (LM) により、幅広いアプリケーションで新しい最先端の結果が可能になりました。
ニューラル LM に関連する研究成果の数は指数関数的に増加していますが、その大部分は高レベルであり、自己完結型とは程遠いものです。
したがって、特にニューラル LM の主なタイプを説明する統一された数学的枠組みが存在しない場合、この分野の文献を深く理解することは困難な作業となります。
このチュートリアルでは、前述の問題に対処します。その目的は、明確な図解を伴う、詳細で単純化された明確な数学的枠組みでニューラル LM を説明することです。
BERT や GPT2 などの広く使用されているモデルの具体例を検討します。
最後に、言語モデリングのようなタスクで事前トレーニングされたトランスフォーマーはコンピュータ ビジョンや時系列アプリケーションで広く採用されているため、読者が前述のドメインでトランスフォーマーがどのように動作するかを理解し、この使用法を比較できるように、そのようなソリューションの例をいくつか簡単に説明します。
NLP のオリジナルのもの。

要約(オリジナル)

Generative AI and transfer learning fields have experienced remarkable advancements in recent years especially in the domain of Natural Language Processing (NLP). Transformers were at the heart of these advancements where the cutting-edge transformer-based Language Models (LMs) enabled new state-of-the-art results in a wide spectrum of applications. While the number of research works involving neural LMs is exponentially increasing, their vast majority are high-level and far from self-contained. Consequently, a deep understanding of the literature in this area is a tough task especially at the absence of a unified mathematical framework explaining the main types of neural LMs. We address the aforementioned problem in this tutorial where the objective is to explain neural LMs in a detailed, simplified and unambiguous mathematical framework accompanied with clear graphical illustrations. Concrete examples on widely used models like BERT and GPT2 are explored. Finally, since transformers pretrained on language-modeling-like tasks have been widely adopted in computer vision and time series applications, we briefly explore some examples of such solutions in order to enable readers understand how transformers work in the aforementioned domains and compare this use with the original one in NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google