Seeing the Unseen: Visual Metaphor Captioning for Videos

要約

比喩は、私たちの日常生活で使用される一般的なコミュニケーション ツールです。
テキスト形式のメタファーの検出と生成は広く研究されていますが、他の形式のメタファーについては十分に研究されていません。
最近の研究では、ビジョン言語 (VL) モデルがミームや広告の視覚的なメタファーを理解できないことが示されています。
現時点では、ビデオを使った比喩のような複雑な言語現象を含む詳細な研究は行われていません。
したがって、私たちはビデオに存在するメタファーを説明するという新しい VL タスクを作品に導入します。
この新しいタスクを促進するために、生成されたメタファーの創造性を自動的に評価するために、平均コンセプト ディスタンス (ACD) と呼ばれる新しい指標とともに、705 本のビデオと 2,115 個の人が書いたキャプションを含む手動で作成されたデータセットを構築してリリースします。
また、新しい低リソースのビデオ メタファー キャプション システム、GIT-LLaVA も提案します。これは、提案されたタスクに関して SoTA ビデオ言語モデルと同等のパフォーマンスを実現します。
このタスクに関して既存のビデオ言語モデルの包括的な分析を実行し、さらなる研究を可能にするためにデータセット、モデル、ベンチマーク結果を公開します。

要約(オリジナル)

Metaphors are a common communication tool used in our day-to-day life. The detection and generation of metaphors in textual form have been studied extensively but metaphors in other forms have been under-explored. Recent studies have shown that Vision-Language (VL) models cannot understand visual metaphors in memes and adverts. As of now, no probing studies have been done that involve complex language phenomena like metaphors with videos. Hence, we introduce a new VL task of describing the metaphors present in the videos in our work. To facilitate this novel task, we construct and release a manually created dataset with 705 videos and 2115 human-written captions, along with a new metric called Average Concept Distance (ACD), to automatically evaluate the creativity of the metaphors generated. We also propose a novel low-resource video metaphor captioning system: GIT-LLaVA, which obtains comparable performance to SoTA video language models on the proposed task. We perform a comprehensive analysis of existing video language models on this task and publish our dataset, models, and benchmark results to enable further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google