Understanding Cross-modal Interactions in V&L Models that Generate Scene Descriptions

要約

画像キャプションのモデルは、可視オブジェクトを強調するオブジェクト中心の方法で画像を記述する傾向がある。しかし、画像記述はオブジェクトを抽象化し、描かれたシーンの種類を記述することも可能である。本論文では、(1)画像と物体中心およびシーン記述の両方を含む新しいデータセットを用いて、最先端の視覚言語モデルVinVLがシーンレベルで画像にキャプションを付ける可能性について検討する。2）微調整の効果を詳細に分析することで、（3）シーン内のオブジェクトレベルの概念を識別する能力を失うことなく、少量のキュレーションデータでシーン説明を生成できることを示し、オブジェクト中心の説明を生成する場合と比較して、より全体的な画像の見方を獲得できることを示す。これらの結果と、シーン知覚に関する計算科学や認知科学の研究からの知見との類似性について議論する。

要約(オリジナル)

Image captioning models tend to describe images in an object-centric way, emphasising visible objects. But image descriptions can also abstract away from objects and describe the type of scene depicted. In this paper, we explore the potential of a state-of-the-art Vision and Language model, VinVL, to caption images at the scene level using (1) a novel dataset which pairs images with both object-centric and scene descriptions. Through (2) an in-depth analysis of the effect of the fine-tuning, we show (3) that a small amount of curated data suffices to generate scene descriptions without losing the capability to identify object-level concepts in the scene; the model acquires a more holistic view of the image compared to when object-centric descriptions are generated. We discuss the parallels between these results and insights from computational and cognitive science research on scene perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL