Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks

要約

言語、ビジョン、およびマルチモーダル事前トレーニングの大きな収束が生じています。
この作業では、視覚タスクと視覚言語タスクの両方で最先端の転送パフォーマンスを実現する汎用マルチモーダル基盤モデル BEiT-3 を紹介します。
具体的には、バックボーン アーキテクチャ、事前トレーニング タスク、モデルのスケールアップという 3 つの側面から大きな収束を進めます。
モジュラー アーキテクチャがディープ フュージョンとモダリティ固有のエンコーディングの両方を可能にする、汎用モデリング用のマルチウェイ トランスフォーマーを紹介します。
共有バックボーンに基づいて、画像 (Imglish)、テキスト (英語)、および画像とテキストのペア (「対訳文」) に対してマスクされた「言語」モデリングを統一された方法で実行します。
実験結果は、BEiT-3 がオブジェクト検出 (COCO)、セマンティック セグメンテーション (ADE20K)、画像分類 (ImageNet)、視覚的推論 (NLVR2)、視覚的質問応答 (VQAv2)、画像キャプションで最先端のパフォーマンスを得ることを示しています。
(COCO)、およびクロスモーダル検索 (Flickr30K、COCO)。

要約(オリジナル)

A big convergence of language, vision, and multimodal pretraining is emerging. In this work, we introduce a general-purpose multimodal foundation model BEiT-3, which achieves state-of-the-art transfer performance on both vision and vision-language tasks. Specifically, we advance the big convergence from three aspects: backbone architecture, pretraining task, and model scaling up. We introduce Multiway Transformers for general-purpose modeling, where the modular architecture enables both deep fusion and modality-specific encoding. Based on the shared backbone, we perform masked ‘language’ modeling on images (Imglish), texts (English), and image-text pairs (‘parallel sentences’) in a unified manner. Experimental results show that BEiT-3 obtains state-of-the-art performance on object detection (COCO), semantic segmentation (ADE20K), image classification (ImageNet), visual reasoning (NLVR2), visual question answering (VQAv2), image captioning (COCO), and cross-modal retrieval (Flickr30K, COCO).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google