An Examination of the Compositionality of Large Generative Vision-Language Models

要約

大規模言語モデル (LLM) の成功により、多くの生成ビジョン言語モデル (GVLM) がマルチモーダル命令チューニングを介して構築されています。
ただし、マルチモーダル構成推論における GVLM のパフォーマンスはまだ調査されていません。
このペーパーでは、GVLM の構成性を評価するための評価指標 (VisualGPTScore など) と現在のベンチマークの両方を検証します。
現在のベンチマークの構文上の偏りを特定します。これは、GVLM の言語機能によって悪用されています。
このバイアスにより、VisualGPTScore は GVLM を評価するための指標として不十分になります。
これに対処するために、まず SyntaxBias スコアを導入し、LLM を利用してそのようなバイアスを定量化し、緩和します。
その後、構文の正確さへの固有の傾向に対する GVLM の堅牢性を評価するための、挑戦的な新しいタスクが追加されます。
バイアスが軽減されたデータセットと新しいタスクを使用して、新しいベンチマーク、つまり SyntActively DE バイアス ベンチマーク (SADE) を提案します。
私たちの研究は、GVLM の構成性に関する公平なベンチマークを提供し、この方向での将来の研究を促進します (コードとデータセットは https://github.com/TeleeMa/SADE で入手できます)。

要約(オリジナル)

With the success of Large Language Models (LLMs), many Generative Vision-Language Models (GVLMs) have been constructed via multimodal instruction tuning. However, the performance of GVLMs in multimodal compositional reasoning remains under-explored. In this paper, we examine both the evaluation metrics (VisualGPTScore, etc.) and current benchmarks for evaluating the compositionality of GVLMs. We identify the syntactical bias in current benchmarks, which is exploited by the linguistic capability of GVLMs. The bias renders VisualGPTScore an insufficient metric for assessing GVLMs. To combat this, we first introduce a SyntaxBias Score, leveraging LLMs to quantify such bias for mitigation. A challenging new task is subsequently added to evaluate the robustness of GVLMs against inherent inclination toward syntactical correctness. Using the bias-mitigated datasets and the new task, we propose a novel benchmark, namely SyntActically DE-biased benchmark (SADE). Our study provides an unbiased benchmark for the compositionality of GVLMs, facilitating future research in this direction (Code and dataset are available at https://github.com/TeleeMa/SADE).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google