$VILA^2$: VILA Augmented VILA

要約

ビジュアル言語モデル (VLM) は、大規模言語モデル (LLM) の成功によって急速に進歩しました。
モデル アーキテクチャとトレーニング インフラストラクチャは急速に進歩していますが、データ キュレーションは依然として研究が進んでいません。
データの量と品質がボトルネックになると、既存の作業では、データ品質が保証されていないインターネットからより多くの生データを直接クロールするか、ブラックボックスの商用モデル (GPT-4V / Gemini など) から抽出することになり、パフォーマンスが低下します。
そのモデルに制限されます。
この研究では、データ品質とモデルのパフォーマンスを繰り返し改善するための自己拡張ステップと専門家拡張ステップを含む新しいアプローチを導入します。
自己拡張ステップでは、VLM が独自の事前トレーニング データを再キャプションしてデータ品質を向上させ、この洗練されたデータセットを使用して最初から再トレーニングしてモデルのパフォーマンスを向上させます。
このプロセスは数回繰り返すことができます。
自己拡張が飽和すると、自己拡張 VLM をドメイン固有の専門知識で微調整した複数の専門 VLM を採用し、タスク指向の復習と再トレーニングを通じて専門知識をジェネラリスト VLM にさらに注入します。
自己拡張トレーニングと専門家拡張トレーニングを組み合わせて、従来技術に比べて幅広いタスクの精度を一貫して向上させ、新しい状態を達成する VLM ファミリである $VILA^2$ (VILA-augmented-VILA) を紹介します。
MMMU リーダーボードでは、オープンソース モデルの中で最先端の結果が得られます。

要約(オリジナル)

Visual language models (VLMs) have rapidly progressed, driven by the success of large language models (LLMs). While model architectures and training infrastructures advance rapidly, data curation remains under-explored. When data quantity and quality become a bottleneck, existing work either directly crawls more raw data from the Internet that does not have a guarantee of data quality or distills from black-box commercial models (e.g., GPT-4V / Gemini) causing the performance upper bounded by that model. In this work, we introduce a novel approach that includes a self-augment step and a specialist-augment step to iteratively improve data quality and model performance. In the self-augment step, a VLM recaptions its own pretraining data to enhance data quality, and then retrains from scratch using this refined dataset to improve model performance. This process can iterate for several rounds. Once self-augmentation saturates, we employ several specialist VLMs finetuned from the self-augmented VLM with domain-specific expertise, to further infuse specialist knowledge into the generalist VLM through task-oriented recaptioning and retraining. With the combined self-augmented and specialist-augmented training, we introduce $VILA^2$ (VILA-augmented-VILA), a VLM family that consistently improves the accuracy on a wide range of tasks over prior art, and achieves new state-of-the-art results on MMMU leaderboard among open-sourced models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google