CapsFusion: Rethinking Image-Text Data at Scale

要約

大規模なマルチモーダル モデルは、さまざまなマルチモーダル タスクをゼロショットで実行する優れたジェネラリスト能力を示します。
大規模な Web ベースの画像とテキストのペアは、この成功に根本的に貢献していますが、過度のノイズに悩まされています。
最近の研究では、キャプション モデルによって合成された代替キャプションが使用されており、注目すべきベンチマーク パフォーマンスが達成されています。
ただし、私たちの実験では、合成キャプションでトレーニングされたモデルにおけるスケーラビリティの欠如と世界知識の損失という重大な問題が明らかになりました。これらの問題は、最初のベンチマークの成功によってほとんど隠されていました。
詳細な調査により、根本的な原因は、過度に単純化された言語構造と、既存の合成キャプションにおける詳細な知識の欠如であることが判明しました。
高品質でよりスケーラブルなマルチモーダル事前トレーニング データを提供するために、大規模な言語モデルを活用して Web ベースの画像とテキストのペアと合成キャプションの両方からの情報を統合および洗練する高度なフレームワークである CapsFusion を提案します。
広範な実験により、CapsFusion キャプションは、モデルのパフォーマンス (例: COCO および NoCaps の CIDEr スコアが 18.8 および 18.3 向上)、サンプル効率 (ベースラインよりも必要な計算量が 11 ～ 16 分の 1) の点で、既存のキャプションよりも顕著な総合的な優位性を示すことが示されています。
世界の知識の深さと拡張性。
これらの有効性、効率性、拡張性の利点により、CapsFusion は LMM トレーニングの将来の拡張の有望な候補として位置付けられます。

要約(オリジナル)

Large multimodal models demonstrate remarkable generalist ability to perform diverse multimodal tasks in a zero-shot manner. Large-scale web-based image-text pairs contribute fundamentally to this success, but suffer from excessive noise. Recent studies use alternative captions synthesized by captioning models and have achieved notable benchmark performance. However, our experiments reveal significant Scalability Deficiency and World Knowledge Loss issues in models trained with synthetic captions, which have been largely obscured by their initial benchmark success. Upon closer examination, we identify the root cause as the overly-simplified language structure and lack of knowledge details in existing synthetic captions. To provide higher-quality and more scalable multimodal pretraining data, we propose CapsFusion, an advanced framework that leverages large language models to consolidate and refine information from both web-based image-text pairs and synthetic captions. Extensive experiments show that CapsFusion captions exhibit remarkable all-round superiority over existing captions in terms of model performance (e.g., 18.8 and 18.3 improvements in CIDEr score on COCO and NoCaps), sample efficiency (requiring 11-16 times less computation than baselines), world knowledge depth, and scalability. These effectiveness, efficiency and scalability advantages position CapsFusion as a promising candidate for future scaling of LMM training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google