From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping

要約

タイトル：関連性から生成性へ：教師なしクロスモーダルマッピングによるテキストのみのキャプション作成

要約：

– ビジョン-言語事前学習モデル（VLPM）の開発により、CLIPやALIGNなどを代表とするVLPMにより、CLIPの微調整なしでのゼロショット能力により、画像分類や画像-テキスト検索などの関連性ベースの視覚的タスクにおいて、顕著な進展が見られている。
– しかし、CLIPを生成性タスクに適用するのは困難である。これは、生成に必要なデコーダアーキテクチャと事前学習タスクの不足が原因である。
– 過去の研究では、CLIPに追加の言語モデルを使用して生成能力を作成したが、異なるモダリティのCLIP表現におけるモダリティ間ギャップとCLIPのこのギャップのオフセットをモデル化できないことから、この概念をモダリティ間で移動できなくなってしまったことがある。
– 問題を解決するために、本稿では、画像/動画を言語モダリティにマッピングし、言語モダリティからキャプションを生成するKNNクロスモーダルマッピング（Knight）を提案している。テキストのみの教師なしトレーニングにより、Knightは、画像キャプショニングと動画キャプショニングのゼロショット方法において、最先端の性能を発揮している。我々のコードはhttps://github.com/junyangwang0410/Knightで入手可能である。

要約(オリジナル)

With the development of Vision-Language Pre-training Models (VLPMs) represented by CLIP and ALIGN, significant breakthroughs have been achieved for association-based visual tasks such as image classification and image-text retrieval by the zero-shot capability of CLIP without fine-tuning. However, CLIP is hard to apply to generation-based tasks. This is due to the lack of decoder architecture and pre-training tasks for generation. Although previous works have created generation capacity for CLIP through additional language models, a modality gap between the CLIP representations of different modalities and the inability of CLIP to model the offset of this gap, which fails the concept to transfer across modalities. To solve the problem, we try to map images/videos to the language modality and generate captions from the language modality. In this paper, we propose the K-nearest-neighbor Cross-modality Mapping (Knight), a zero-shot method from association to generation. With text-only unsupervised training, Knight achieves state-of-the-art performance in zero-shot methods for image captioning and video captioning. Our code is available at https://github.com/junyangwang0410/Knight.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI