Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey

要約

一般化されたディープ モデルに対する緊急の需要に伴い、BERT、ViT、GPT などの多くの事前トレーニング済みの大きなモデルが提案されています。単一ドメイン (コンピューター ビジョンや自然言語処理など) でのこれらのモデルの成功に触発されて、マルチ
-モーダル事前トレーニング済みビッグモデルも、近年ますます注目を集めています。
この研究では、これらのモデルの包括的な調査を行い、この論文が新たな洞察を提供し、新人研究者が最先端の研究を追跡するのに役立つことを願っています。
具体的には、まず、従来のディープラーニング、自然言語処理、コンピュータビジョン、および音声における事前トレーニング作業をレビューすることにより、マルチモーダル事前トレーニングの背景を紹介します。
次に、マルチモーダル事前トレーニング モデル (MM-PTM) のタスク定義、主な課題、利点を紹介し、データ、目的、ネットワーク アーキテクチャ、知識強化事前トレーニングに焦点を当てて MM-PTM について説明します。
。
その後、生成タスク、分類タスク、回帰タスクなど、大規模な MM-PTM の検証に使用される下流タスクを紹介します。
また、モデルパラメータと代表的な下流タスクの結果の視覚化と分析も提供します。
最後に、将来の研究に役立つ可能性のある、このトピックに関する研究の方向性を指摘します。
さらに、大規模な事前トレーニング済みマルチモーダル ビッグ モデルの論文リストを継続的に更新しています: https://github.com/wangxiao5791509/MultiModal_BigModels_Survey

要約(オリジナル)

With the urgent demand for generalized deep models, many pre-trained big models are proposed, such as BERT, ViT, GPT, etc. Inspired by the success of these models in single domains (like computer vision and natural language processing), the multi-modal pre-trained big models have also drawn more and more attention in recent years. In this work, we give a comprehensive survey of these models and hope this paper could provide new insights and helps fresh researchers to track the most cutting-edge works. Specifically, we firstly introduce the background of multi-modal pre-training by reviewing the conventional deep learning, pre-training works in natural language process, computer vision, and speech. Then, we introduce the task definition, key challenges, and advantages of multi-modal pre-training models (MM-PTMs), and discuss the MM-PTMs with a focus on data, objectives, network architectures, and knowledge enhanced pre-training. After that, we introduce the downstream tasks used for the validation of large-scale MM-PTMs, including generative, classification, and regression tasks. We also give visualization and analysis of the model parameters and results on representative downstream tasks. Finally, we point out possible research directions for this topic that may benefit future works. In addition, we maintain a continuously updated paper list for large-scale pre-trained multi-modal big models: https://github.com/wangxiao5791509/MultiModal_BigModels_Survey

arxiv情報

提供元, 利用サービス

arxiv.jp, Google