A Survey of Deep Learning: From Activations to Transformers

要約

過去 10 年間、さまざまなアーキテクチャ、レイヤー、目的、最適化手法の出現により、ディープ ラーニングは目覚ましい進歩を遂げてきました。
これらは、特に、注意、正規化、スキップ接続、トランスフォーマー、自己教師あり学習方法などの多数のバリエーションで構成されます。
私たちの目標は、深層学習の基本を理解している個人に、これらの領域における最近の重要な貢献に関する包括的な調査を提供することです。
私たちの目標は、影響力のある最近の研究に対する統合的かつ包括的なアプローチによって、深層学習のさまざまな分野間の新しいつながりの形成が促進されることです。
私たちの議論では、過去 10 年間に成功を収めた多くのイノベーションの主要な戦略を要約した複数のパターンについて説明します。
また、OpenAI の GPT-4 や Google の PaLM 2 など、最近商業的に構築されたクローズドソース モデルに関する説明も含まれています。

要約(オリジナル)

The past decade has witnessed remarkable advancements in deep learning, owing to the emergence of various architectures, layers, objectives, and optimization techniques. These consist of a multitude of variations of attention, normalization, skip connections, transformer, and self-supervised learning methods, among others. Our goal is to furnish a comprehensive survey of significant recent contributions in these domains to individuals with a fundamental grasp of deep learning. Our aspiration is that an integrated and comprehensive approach of influential recent works will facilitate the formation of new connections between different areas of deep learning. In our discussion, we discuss multiple patterns that summarize the key strategies for many of the successful innovations over the last decade. We also include a discussion on recent commercially built, closed-source models such as OpenAI’s GPT-4 and Google’s PaLM 2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google