Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models

要約

視覚言語理解の領域では、視覚コンテンツの解釈と推論におけるモデルの熟練度が、多くのアプリケーションの基礎となっています。
ただし、Large Vision-Language Model (LVLM) のビジュアル エンコーダにとって、言語モデルの応答を支援する質問に合わせた有用な機能を抽出することは困難です。
さらに、既存の LVLM では低解像度の画像を使用するのが一般的であり、視覚認識能力が制限されます。
私たちの研究では、Chain-of-Spot (CoS) 法を導入しています。これは、提示された質問や指示に対応する、画像内の重要な関心領域 (ROI) に焦点を当てることで特徴抽出を強化する新しいアプローチであり、Interactive Reasoning と呼ばれています。
この技術により、LVLM は元の画像解像度を変更することなく、より詳細な視覚情報にアクセスできるようになり、それによって多粒度の画像機能が提供されます。
Chain-of-Spot を命令に従う LLaVA-1.5 モデルと統合することにより、画像推論のプロセスは付加機能なしで広範囲のマルチモーダル データセットとベンチマークにわたって一貫してパフォーマンスを向上させ、新しい最先端の結果を達成します。
私たちの経験的発見は、LVLM の視覚コンテンツを理解し推論する能力が大幅に向上し、より洗練された視覚指示に従うアプリケーションへの道を開くことを示しています。
コードとモデルは https://github.com/dongyh20/Chain-of-Spot で入手できます。

要約(オリジナル)

In the realm of vision-language understanding, the proficiency of models in interpreting and reasoning over visual content has become a cornerstone for numerous applications. However, it is challenging for the visual encoder in Large Vision-Language Models (LVLMs) to extract useful features tailored to questions that aid the language model’s response. Furthermore, a common practice among existing LVLMs is to utilize lower-resolution images, which restricts the ability for visual recognition. Our work introduces the Chain-of-Spot (CoS) method, which we describe as Interactive Reasoning, a novel approach that enhances feature extraction by focusing on key regions of interest (ROI) within the image, corresponding to the posed questions or instructions. This technique allows LVLMs to access more detailed visual information without altering the original image resolution, thereby offering multi-granularity image features. By integrating Chain-of-Spot with instruct-following LLaVA-1.5 models, the process of image reasoning consistently improves performance across a wide range of multimodal datasets and benchmarks without bells and whistles and achieves new state-of-the-art results. Our empirical findings demonstrate a significant improvement in LVLMs’ ability to understand and reason about visual content, paving the way for more sophisticated visual instruction-following applications. Code and models are available at https://github.com/dongyh20/Chain-of-Spot

arxiv情報

提供元, 利用サービス

arxiv.jp, Google