The Role of Linguistic Priors in Measuring Compositional Generalization of Vision-Language Models

要約

構成性は、自然言語や画像を含む多くのモダリティに共通の特性ですが、マルチモーダル モデルの構成的一般化は十分に理解されていません。
この論文では、言語的事前分布と画像とテキストの間の相互作用という、視覚言語的構成性の 2 つの原因を特定します。
構成の一般化を改善する現在の試みは、画像内の情報ではなく言語的な事前情報に依存していることを示します。
我々はまた、そのような言語的事前条件を持たない構成性の新しい指標を提案します。

要約(オリジナル)

Compositionality is a common property in many modalities including natural languages and images, but the compositional generalization of multi-modal models is not well-understood. In this paper, we identify two sources of visual-linguistic compositionality: linguistic priors and the interplay between images and texts. We show that current attempts to improve compositional generalization rely on linguistic priors rather than on information in the image. We also propose a new metric for compositionality without such linguistic priors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google