CoMP: Continual Multimodal Pre-training for Vision Foundation Models

要約

事前に訓練されたVision Foundationモデル（VFM）は、幅広いアプリケーションに対して強力な視覚表現を提供します。
このホワイトペーパーでは、マルチモーダルな方法で継続的に訓練するVFMを継続的に事前に訓練し、さまざまなサイズの視覚入力を簡単に処理し、元のトレーニングプロセスに関係なく言語表現とより整合する視覚表現を生成できます。
この目的のために、慎重に設計されたマルチモーダルプリトレーニングパイプラインであるCompを紹介します。
Compは、ネイティブ解像度の継続的なトレーニングをサポートするために継続的な回転位置埋め込みを使用し、言語プロトタイプを介して視覚的機能とテキスト機能の間のアライメント損失をサポートし、マルチモーダル表現を調整します。
3段階のトレーニングにより、VFMはマルチモーダル理解だけでなく、分類やセグメンテーションなどの他の下流タスクでも顕著な改善を実現します。
驚くべきことに、COMP-SIGLIPは、0.5B LLMでChartqaで66.7、DOCVQAで75.9のスコアを達成し、ImagENET-1Kで87.4％の精度を維持し、凍結チャンク評価下でADE20Kで49.5 MIOUを維持します。

要約(オリジナル)

Pre-trained Vision Foundation Models (VFMs) provide strong visual representations for a wide range of applications. In this paper, we continually pre-train prevailing VFMs in a multimodal manner such that they can effortlessly process visual inputs of varying sizes and produce visual representations that are more aligned with language representations, regardless of their original pre-training process. To this end, we introduce CoMP, a carefully designed multimodal pre-training pipeline. CoMP uses a Continual Rotary Position Embedding to support native resolution continual pre-training, and an Alignment Loss between visual and textual features through language prototypes to align multimodal representations. By three-stage training, our VFMs achieve remarkable improvements not only in multimodal understanding but also in other downstream tasks such as classification and segmentation. Remarkably, CoMP-SigLIP achieves scores of 66.7 on ChartQA and 75.9 on DocVQA with a 0.5B LLM, while maintaining an 87.4% accuracy on ImageNet-1K and a 49.5 mIoU on ADE20K under frozen chunk evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google