Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning

要約

人々は、「絵は千の言葉の価値がある」と言います。
では、どうすれば画像から豊富な情報を引き出すことができるでしょうか。
視覚的な手がかりを使用して、事前にトレーニングされた大規模な視覚基盤モデルと言語モデルを橋渡しすることにより、余分なクロスモーダルトレーニングなしでそれを行うことができると私たちは主張します。
ファンデーションモデルの強力なゼロショット機能のおかげで、ビジョンファンデーションを使用して、視覚的な手がかりと呼ばれる構造化されたテキストプロンプトとして、画像の豊富なセマンティック表現（画像タグ、オブジェクト属性/場所、キャプションなど）を構築することから始めます。
モデル。
視覚的な手がかりに基づいて、大規模な言語モデルを使用して、視覚的なコンテンツの一連の包括的な説明を作成します。次に、視覚モデルによって再度検証され、画像に最も一致する候補が選択されます。
生成された記述の品質を、定量的および定性的な測定によって評価します。
結果は、そのような構造化された意味表現の有効性を示しています。

要約(オリジナル)

People say, ‘A picture is worth a thousand words’. Then how can we get the rich information out of the image? We argue that by using visual clues to bridge large pretrained vision foundation models and language models, we can do so without any extra cross-modal training. Thanks to the strong zero-shot capability of foundation models, we start by constructing a rich semantic representation of the image (e.g., image tags, object attributes / locations, captions) as a structured textual prompt, called visual clues, using a vision foundation model. Based on visual clues, we use large language model to produce a series of comprehensive descriptions for the visual content, which is then verified by the vision model again to select the candidate that aligns best with the image. We evaluate the quality of generated descriptions by quantitative and qualitative measurement. The results demonstrate the effectiveness of such a structured semantic representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google