From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping

要約

【タイトル】連想から生成へ：非監視クロスモーダルマッピングによるテキストオンリーキャプショニング

【要約】
– Vision-Language Pre-training Models (VLPMs)（CLIPやALIGNなど）の発展により、画像分類や画像-テキスト検索などの関連ベースのビジュアルタスクで、CLIPのゼロショット能力により微調整なしで重大な突破口が達成されている。
– しかし、CLIPは生成ベースのタスクに適用するのが困難である。これは、デコーダアーキテクチャと生成のための事前トレーニングタスクが欠如しているためである。これに対して、以前の研究では、追加の言語モデルを通してCLIPの生成容量を作成したが、異なるモダリティのCLIP表現間のモダリティギャップと、このギャップのオフセットをモデル化することができないため、コンセプトがモダリティ間で転送に失敗する。
– 問題を解決するために、この論文では、画像/ビデオを言語モダリティにマッピングし、言語モダリティからキャプションを生成するKnightという方法を提案している。非監視のテキストオンリーのトレーニングを使用して、Knightは、画像キャプショニングおよびビデオキャプショニングのゼロショット手法における最先端の性能を発揮している。Knightのコードはhttps://github.com/junyangwang0410/Knightで利用可能である。

要約(オリジナル)

With the development of Vision-Language Pre-training Models (VLPMs) represented by CLIP and ALIGN, significant breakthroughs have been achieved for association-based visual tasks such as image classification and image-text retrieval by the zero-shot capability of CLIP without fine-tuning. However, CLIP is hard to apply to generation-based tasks. This is due to the lack of decoder architecture and pre-training tasks for generation. Although previous works have created generation capacity for CLIP through additional language models, a modality gap between the CLIP representations of different modalities and the inability of CLIP to model the offset of this gap, which fails the concept to transfer across modalities. To solve the problem, we try to map images/videos to the language modality and generate captions from the language modality. In this paper, we propose the K-nearest-neighbor Cross-modality Mapping (Knight), a zero-shot method from association to generation. With text-only unsupervised training, Knight achieves state-of-the-art performance in zero-shot methods for image captioning and video captioning. Our code is available at https://github.com/junyangwang0410/Knight.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI