MLLMs-Augmented Visual-Language Representation Learning

要約

ビジュアル言語事前トレーニング (VLP) は、マルチモーダル タスクにおいて目覚ましい成功を収めていますが、これは主に大規模な画像テキスト データセットが利用できることに起因しています。
この研究では、マルチモーダル大規模言語モデル (MLLM) がデータ品質を向上させることで視覚言語表現の学習を強化できることを実証します。
私たちのアプローチはシンプルで、MLLM を利用して各画像の複数のキャプションを拡張します。
MLLM の幻覚や固有のキャプション スタイルによってもたらされるバイアスを防ぐために、拡張キャプションの長さをオリジナルと同一に保つ「テキスト シャーリング」を提案します。
画像テキスト検索では、我々の方法は微調整設定とゼロショット設定でそれぞれ R@1 に対して 5.6 ～ 35.0% と 16.8 ～ 46.1% の改善を一貫して得ています。
特に、ゼロショットの結果は、ターゲット データセットの微調整に匹敵し、MLLM の多用途な使用についてのさらなる探索を促進します。

要約(オリジナル)

Visual-language pre-training (VLP) have achieved remarkable success in multi-modal tasks, largely attributed to the availability of large-scale image-text datasets. In this work, we demonstrate that multi-modal large language models (MLLMs) can enhance visual-language representation learning by improving data quality. Our approach is simple, utilizing MLLMs to extend multiple captions for each image. To prevent the bias that introduced by MLLMs’ hallucinations and intrinsic caption styles, we propose a ‘text shearing’ to keep the lengths of extended captions identical to the originals. In image-text retrieval, our method consistently obtains 5.6 ~ 35.0% and 16.8 ~ 46.1% improvement on R@1 under the fine-tuning and zero-shot settings, respectively. Notably, our zero-shot results are comparable to fine-tuning on target datasets, which encourages more exploration on the versatile use of MLLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google