A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT

要約

Pretrained Foundation Models (PFM) は、さまざまなデータ モダリティを持つさまざまなダウンストリーム タスクの基盤と見なされます。
PFM (BERT、ChatGPT、GPT-4 など) は大規模なデータでトレーニングされ、幅広いダウンストリーム アプリケーションに妥当なパラメーター初期化を提供します。
BERT は、コンテキスト言語モデルとして大規模なデータセットでトレーニングされたトランスフォーマーから双方向エンコーダー表現を学習します。
同様に、Generative pretrained Transformer (GPT) メソッドは、特徴抽出器として Transformers を採用し、大規模なデータセットで自己回帰パラダイムを使用してトレーニングされます。
最近、ChatGPT は大規模な言語モデルで有望な成功を収めています。これは、ゼロ ショットまたは少数のショット プロンプトで自己回帰言語モデルを適用します。
PFM の目覚ましい成果は、AI のさまざまな分野に大きなブレークスルーをもたらしました。
多数の研究がさまざまな方法を提案しており、最新の調査に対する需要が高まっています。
この調査では、テキスト、画像、グラフ、およびその他のデータ モダリティにおける PFM の最近の研究の進歩、課題、および機会の包括的なレビューを提供します。
このレビューでは、自然言語処理、コンピューター ビジョン、およびグラフ学習で使用される基本的なコンポーネントと既存の事前トレーニング方法について説明します。
さらに、さまざまなデータ モダリティに使用される高度な PFM と、データの質と量を考慮した統合 PFM についても説明します。
このレビューでは、モデルの効率と圧縮、セキュリティ、プライバシーなど、PFM の基礎に関連する研究についても説明しています。
最後に、この研究は、PFM の分野における重要な意味、将来の研究の方向性、課題、および未解決の問題を提供します。
全体として、この調査は、スケーラビリティ、セキュリティ、論理的推論能力、クロスドメイン学習能力、および汎用人工知能のユーザーフレンドリーなインタラクティブ能力に関する PFM の研究に光を当てることを目的としています。

要約(オリジナル)

Pretrained Foundation Models (PFMs) are regarded as the foundation for various downstream tasks with different data modalities. A PFM (e.g., BERT, ChatGPT, and GPT-4) is trained on large-scale data which provides a reasonable parameter initialization for a wide range of downstream applications. BERT learns bidirectional encoder representations from Transformers, which are trained on large datasets as contextual language models. Similarly, the generative pretrained transformer (GPT) method employs Transformers as the feature extractor and is trained using an autoregressive paradigm on large datasets. Recently, ChatGPT shows promising success on large language models, which applies an autoregressive language model with zero shot or few shot prompting. The remarkable achievements of PFM have brought significant breakthroughs to various fields of AI. Numerous studies have proposed different methods, raising the demand for an updated survey. This study provides a comprehensive review of recent research advancements, challenges, and opportunities for PFMs in text, image, graph, as well as other data modalities. The review covers the basic components and existing pretraining methods used in natural language processing, computer vision, and graph learning. Additionally, it explores advanced PFMs used for different data modalities and unified PFMs that consider data quality and quantity. The review also discusses research related to the fundamentals of PFMs, such as model efficiency and compression, security, and privacy. Finally, the study provides key implications, future research directions, challenges, and open problems in the field of PFMs. Overall, this survey aims to shed light on the research of the PFMs on scalability, security, logical reasoning ability, cross-domain learning ability, and the user-friendly interactive ability for artificial general intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google