Probing Conceptual Understanding of Large Visual-Language Models

要約

近年、大規模なビジュアル言語 (V+L) モデルがさまざまな下流タスクで大きな成功を収めています。
ただし、これらのモデルが視覚的な内容を概念的に把握しているかどうかは十分に研究されていません。
この作業では、これらの大規模な V+L モデルの概念的な理解に焦点を当てます。
この研究を促進するために、コンテンツ理解の 3 つの異なる側面、1) \textit{relations}、2) \textit{composition}、3) \textit{context} を調査するための新しいベンチマーク データセットを提案します。
私たちのプローブは認知科学に基づいており、V+L モデルが、たとえば、男性に飾られた雪がありえないかどうかを判断できるかどうか、またはビーチにある家具がビーチにあることを知ってそれを識別できるかどうかを判断するのに役立ちます。
私たちは多くの最新の V+L モデルを実験しましたが、これらのモデルのほとんどが概念的な理解を\textit{実証できていない}ことがわかりました。
この研究では、\textit{クロスアテンション} が概念理解を学ぶのに役立つこと、CNN は \textit{テクスチャとパターン} に優れているのに対し、トランスフォーマーは \textit{色と形状} に優れていることなど、いくつかの興味深い洞察が明らかになりました。
私たちはこれらの洞察の一部をさらに活用し、3 つの概念理解尺度に有望な初期結果をもたらす \textit{単純な微調整手法} を調査します。
提案されたベンチマークは、コミュニティが概念的な理解をさらに深め、大規模な V+L モデルの機能の進歩を促進することを促進します。
コードとデータセットは、\url{https://tinyurl.com/vlm-robustness} から入手できます。

要約(オリジナル)

In recent years large visual-language (V+L) models have achieved great success in various downstream tasks. However, it is not well studied whether these models have a conceptual grasp of the visual content. In this work we focus on conceptual understanding of these large V+L models. To facilitate this study, we propose novel benchmarking datasets for probing three different aspects of content understanding, 1) \textit{relations}, 2) \textit{composition}, and 3) \textit{context}. Our probes are grounded in cognitive science and help determine if a V+L model can, for example, determine if snow garnished with a man is implausible, or if it can identify beach furniture by knowing it is located on a beach. We experimented with many recent state-of-the-art V+L models and observe that these models mostly \textit{fail to demonstrate} a conceptual understanding. This study reveals several interesting insights such as that \textit{cross-attention} helps learning conceptual understanding, and that CNNs are better with \textit{texture and patterns}, while Transformers are better at \textit{color and shape}. We further utilize some of these insights and investigate a \textit{simple finetuning technique} that rewards the three conceptual understanding measures with promising initial results. The proposed benchmarks will drive the community to delve deeper into conceptual understanding and foster advancements in the capabilities of large V+L models. The code and dataset is available at: \url{https://tinyurl.com/vlm-robustness}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google