LLM-wrapper: Black-Box Semantic-Aware Adaptation of Vision-Language Models for Referring Expression Comprehension

要約

ビジョン言語モデル (VLM) は、さまざまなオープン語彙タスクで顕著な機能を実証していますが、そのゼロショット パフォーマンスは、特に参照表現理解 (REC) のような複雑なタスクでは、タスク固有の微調整モデルに比べて遅れています。
通常、微調整にはモデルのアーキテクチャと重みへの「ホワイトボックス」アクセスが必要ですが、所有権やプライバシーの問題により、常に実現可能であるとは限りません。
この研究では、大規模言語モデル (LLM) を使用して REC タスクに VLM を「ブラック ボックス」適応させる方法である LLM ラッパーを提案します。
LLM ラッパーは、軽い微調整によって改善された LLM の推論能力を利用して、ゼロショット ブラック ボックス VLM によって生成された候補から、参照式に一致する最も関連性の高い境界ボックスを選択します。
私たちのアプローチにはいくつかの利点があります。内部動作にアクセスする必要なくクローズドソース モデルを適応できること、あらゆる VLM で動作するため多用途性があり、新しい VLM に移行できること、VLM のアンサンブルの適応が可能であることです。
。
さまざまな VLM と LLM を使用して複数のデータセットで LLM ラッパーを評価し、大幅なパフォーマンスの向上を実証し、手法の多用途性を強調します。
LLM ラッパーは、標準のホワイト ボックス微調整と直接競合することを意図したものではありませんが、ブラック ボックス VLM 適応の実用的で効果的な代替手段を提供します。
コードはオープンソース化されます。

要約(オリジナル)

Vision Language Models (VLMs) have demonstrated remarkable capabilities in various open-vocabulary tasks, yet their zero-shot performance lags behind task-specific finetuned models, particularly in complex tasks like Referring Expression Comprehension (REC). Fine-tuning usually requires ‘white-box’ access to the model’s architecture and weights, which is not always feasible due to proprietary or privacy concerns. In this work, we propose LLM-wrapper, a method for ‘black-box’ adaptation of VLMs for the REC task using Large Language Models (LLMs). LLM-wrapper capitalizes on the reasoning abilities of LLMs, improved with a light fine-tuning, to select the most relevant bounding box matching the referring expression, from candidates generated by a zero-shot black-box VLM. Our approach offers several advantages: it enables the adaptation of closed-source models without needing access to their internal workings, it is versatile as it works with any VLM, it transfers to new VLMs, and it allows for the adaptation of an ensemble of VLMs. We evaluate LLM-wrapper on multiple datasets using different VLMs and LLMs, demonstrating significant performance improvements and highlighting the versatility of our method. While LLM-wrapper is not meant to directly compete with standard white-box fine-tuning, it offers a practical and effective alternative for black-box VLM adaptation. The code will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google