Can Feedback Enhance Semantic Grounding in Large Vision-Language Models?

要約

視覚言語モデル (VLM) におけるセマンティックグラウンディング能力の強化には、多くの場合、ドメイン固有のトレーニング データの収集、ネットワーク アーキテクチャの改良、またはトレーニング レシピの変更が含まれます。
この研究では、あえて直交的な方向に進み、ドメイン内データ、微調整、またはネットワーク アーキテクチャの変更を必要とせずに、VLM がフィードバックを「受信」することでセマンティックな基盤を改善できるかどうかを調査します。
私たちは、バイナリ信号で構成されるフィードバック メカニズムを使用して、この仮説を体系的に分析します。
適切にプロンプ​​トが出されれば、VLM は単一ステップと反復の両方でフィードバックを利用できることがわかり、インターネット規模の VLM のグラウンディングを改善するための代替技術としてのフィードバックの可能性を示しています。
さらに、VLM は、LLM と同様に、すぐにエラーを自己修正するのに苦労します。
ただし、この問題はバイナリ検証メカニズムによって軽減できることがわかりました。
最後に、これらの発見を統合し、それらを繰り返し適用して VLM の接地性能を自動的に強化することの可能性と限界を調査し、調査したすべての設定ですべてのモデルにわたって自動フィードバックを使用して接地精度が一貫して向上することを示しました。
全体として、当社の反復フレームワークは、ノイズのないフィードバックの下では VLM のセマンティック グラウンディングを 15 精度ポイント以上、単純な自動バイナリ検証メカニズムの下では最大 5 精度ポイント向上させます。
プロジェクトの Web サイトは https://andrewliao11.github.io/vlms_フィードバック でホストされています。

要約(オリジナル)

Enhancing semantic grounding abilities in Vision-Language Models (VLMs) often involves collecting domain-specific training data, refining the network architectures, or modifying the training recipes. In this work, we venture into an orthogonal direction and explore whether VLMs can improve their semantic grounding by ‘receiving’ feedback, without requiring in-domain data, fine-tuning, or modifications to the network architectures. We systematically analyze this hypothesis using a feedback mechanism composed of a binary signal. We find that if prompted appropriately, VLMs can utilize feedback both in a single step and iteratively, showcasing the potential of feedback as an alternative technique to improve grounding in internet-scale VLMs. Furthermore, VLMs, like LLMs, struggle to self-correct errors out-of-the-box. However, we find that this issue can be mitigated via a binary verification mechanism. Finally, we explore the potential and limitations of amalgamating these findings and applying them iteratively to automatically enhance VLMs’ grounding performance, showing grounding accuracy consistently improves using automated feedback across all models in all settings investigated. Overall, our iterative framework improves semantic grounding in VLMs by more than 15 accuracy points under noise-free feedback and up to 5 accuracy points under a simple automated binary verification mechanism. The project website is hosted at https://andrewliao11.github.io/vlms_feedback

arxiv情報

提供元, 利用サービス

arxiv.jp, Google