From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping

要約

タイトル：連想から生成へ：非教師付きクロスモーダルマッピングによるテキストのみのキャプショニング

要約：

– Vision-Language Pre-training Models (VLPMs)による画像分類や画像テキスト検索などの連想タスクにおいて、CLIPやALIGNなどのVLPMsがfine-tuningなしでゼロショットの能力を持つことで重要な進展が見られている。
– しかし、生成に基づくタスクには適用しづらいという課題がある。これは、デコーダー構造や生成のための事前学習タスクが欠けているためである。
– 以前の研究では、追加の言語モデルを利用してCLIPに生成能力を持たせることができた。しかし、異なるモダリティのCLIP表現間のモダリティギャップが存在し、そのオフセットをモデル化できないため、モダリティ間での概念転換に失敗する。
– この問題を解決するため、本研究では、画像/動画を言語モダリティにマッピングし、言語モダリティからキャプションを生成することを試みた。
– このために、K-nearest-neighbor Cross-modality Mapping（Knight）というゼロショットの方法を提案し、テキストのみの非教師付きトレーニングでKnightは、画像キャプショニングや動画キャプショニングのゼロショット法において、最新のパフォーマンスを実現する。
– コードは https://github.com/junyangwang0410/Knight で公開している。

要約(オリジナル)

With the development of Vision-Language Pre-training Models (VLPMs) represented by CLIP and ALIGN, significant breakthroughs have been achieved for association-based visual tasks such as image classification and image-text retrieval by the zero-shot capability of CLIP without fine-tuning. However, CLIP is hard to apply to generation-based tasks. This is due to the lack of decoder architecture and pre-training tasks for generation. Although previous works have created generation capacity for CLIP through additional language models, a modality gap between the CLIP representations of different modalities and the inability of CLIP to model the offset of this gap, which fails the concept to transfer across modalities. To solve the problem, we try to map images/videos to the language modality and generate captions from the language modality. In this paper, we propose the K-nearest-neighbor Cross-modality Mapping (Knight), a zero-shot method from association to generation. With text-only unsupervised training, Knight achieves State-of-the-Art performance in zero-shot methods for image captioning and video captioning. Our code is available at https://github.com/junyangwang0410/Knight.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI