Improving Fine-grained Visual Understanding in VLMs through Text-Only Training

要約

視覚言語モデル (VLM) は、視覚的理解と言語的理解の間のギャップを埋めるための強力なツールとなっています。
ただし、VLM の従来の学習アプローチには、画像とテキストのペアのデータを収集およびトレーニングするための高いリソース要件などの制限があることがよくあります。
最近の研究では、言語理解が VLM のパフォーマンスに重要な役割を果たしていることが示唆されており、テキストのみのトレーニングが実行可能なアプローチである可能性があることが示されています。
この研究では、テキストのみのトレーニングを通じて VLM における詳細な視覚的理解を強化する実現可能性を調査します。
豊富なテキストによる説明が視覚認識を導くことができる、人間が視覚的な概念理解をどのように発達させるかに触発され、VLM もテキストベースの表現を活用して視覚認識能力を向上させることができるという仮説を立てています。
私たちは、きめ細かい種の分類と文化の視覚的理解タスクという 2 つの異なる領域で包括的な実験を実施します。
私たちの調査結果は、テキストのみのトレーニングが、計算コストを大幅に削減しながら、従来の画像とテキストのトレーニングに匹敵する可能性があることを示しています。
これは、VLM 機能を進化させるためのより効率的でコスト効率の高い経路を示唆しており、リソースに制約のある環境では特に価値があります。

要約(オリジナル)

Visual-Language Models (VLMs) have become a powerful tool for bridging the gap between visual and linguistic understanding. However, the conventional learning approaches for VLMs often suffer from limitations, such as the high resource requirements of collecting and training image-text paired data. Recent research has suggested that language understanding plays a crucial role in the performance of VLMs, potentially indicating that text-only training could be a viable approach. In this work, we investigate the feasibility of enhancing fine-grained visual understanding in VLMs through text-only training. Inspired by how humans develop visual concept understanding, where rich textual descriptions can guide visual recognition, we hypothesize that VLMs can also benefit from leveraging text-based representations to improve their visual recognition abilities. We conduct comprehensive experiments on two distinct domains: fine-grained species classification and cultural visual understanding tasks. Our findings demonstrate that text-only training can be comparable to conventional image-text training while significantly reducing computational costs. This suggests a more efficient and cost-effective pathway for advancing VLM capabilities, particularly valuable in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google