LLM-wrapper: Black-Box Semantic-Aware Adaptation of Vision-Language Models for Referring Expression Comprehension

要約

ビジョン言語モデル（VLMS）は、さまざまなオープンボキャブラリータスクで顕著な能力を実証していますが、特に式（REC）を参照するなどの複雑なタスクで、タスク固有の微調整されたモデルにゼロショットパフォーマンスが遅れています。
微調整には通常、モデルのアーキテクチャとウェイトへの「ホワイトボックス」アクセスが必要です。これは、独自の懸念やプライバシーの懸念のために必ずしも実行可能ではありません。
この作業では、LLM-Wrapperを提案します。これは、大規模な言語モデル（LLMS）を使用したRECタスクのVLMの「ブラックボックス」適応の方法です。
LLM-Wrapperは、LLMSの推論能力を活用し、軽い微調整で改善され、ゼロショットブラックボックスVLMによって生成された候補から参照式に一致する最も関連性の高い境界ボックスを選択します。
私たちのアプローチはいくつかの利点を提供します。それは、内部作業にアクセスする必要なく閉鎖モデルの適応を可能にします。任意のVLMで動作するため、汎用性があり、新しいVLMとデータセットに転送され、VLMのアンサンブルの適応が可能です。
異なるVLMとLLMを使用して複数のデータセットでLLM-Wrapperを評価し、大幅なパフォーマンスの改善を実証し、メソッドの汎用性を強調します。
LLM-Wrapperは、標準のホワイトボックスの微調整と直接競合することを意図したものではありませんが、ブラックボックスVLM適応のための実用的で効果的な代替品を提供します。
コードとチェックポイントは、https：//github.com/valeoai/llm_wrapperで入手できます。

要約(オリジナル)

Vision Language Models (VLMs) have demonstrated remarkable capabilities in various open-vocabulary tasks, yet their zero-shot performance lags behind task-specific fine-tuned models, particularly in complex tasks like Referring Expression Comprehension (REC). Fine-tuning usually requires ‘white-box’ access to the model’s architecture and weights, which is not always feasible due to proprietary or privacy concerns. In this work, we propose LLM-wrapper, a method for ‘black-box’ adaptation of VLMs for the REC task using Large Language Models (LLMs). LLM-wrapper capitalizes on the reasoning abilities of LLMs, improved with a light fine-tuning, to select the most relevant bounding box matching the referring expression, from candidates generated by a zero-shot black-box VLM. Our approach offers several advantages: it enables the adaptation of closed-source models without needing access to their internal workings, it is versatile as it works with any VLM, it transfers to new VLMs and datasets, and it allows for the adaptation of an ensemble of VLMs. We evaluate LLM-wrapper on multiple datasets using different VLMs and LLMs, demonstrating significant performance improvements and highlighting the versatility of our method. While LLM-wrapper is not meant to directly compete with standard white-box fine-tuning, it offers a practical and effective alternative for black-box VLM adaptation. Code and checkpoints are available at https://github.com/valeoai/LLM_wrapper .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google