SmallCap: Lightweight Image Captioning Prompted with Retrieval Augmentation

要約

画像キャプションの最近の進歩は、データとモデル サイズのスケーリングに重点を置いており、事前トレーニングと微調整のコストが大幅に増加しています。
大規模なモデルの代替として、データストアから取得した入力画像と関連するキャプションに基づいてキャプションを生成する SmallCap を紹介します。
事前トレーニング済みの CLIP エンコーダーと GPT-2 デコーダーの間に新たに導入されたクロスアテンション レイヤーにのみ学習されたパラメーターがあるため、モデルは軽量でトレーニングが高速です。
SmallCap は、データストアの内容を簡単に置き換えることができるため、追加の微調整なしで新しいドメインに移行し、トレーニングなしで大規模なデータを活用できます。
私たちの実験では、COCO のみでトレーニングされた SmallCap は、このベンチマークで競争力のあるパフォーマンスを発揮し、ターゲット ドメイン データからの取得のみによって、再トレーニングなしで他のドメインに転送されることが示されています。
人によってラベル付けされたさまざまな Web データをトレーニングなしで活用することで、さらなる改善が達成されます。これは、目に見えない視覚的概念への一般化をテストするために設計された nocaps 画像キャプション ベンチマークなど、他のドメインで効果的であることが証明されています。

要約(オリジナル)

Recent advances in image captioning have focused on scaling the data and model size, substantially increasing the cost of pre-training and finetuning. As an alternative to large models, we present SmallCap, which generates a caption conditioned on an input image and related captions retrieved from a datastore. Our model is lightweight and fast to train as the only learned parameters are in newly introduced cross-attention layers between a pre-trained CLIP encoder and GPT-2 decoder. SmallCap can transfer to new domains without additional finetuning and exploit large-scale data in a training-free fashion because the contents of the datastore can be readily replaced. Our experiments show that SmallCap, trained only on COCO, has competitive performance on this benchmark, and also transfers to other domains without retraining, solely through retrieval from target-domain data. Further improvement is achieved through the training-free exploitation of diverse human-labeled and web data, which proves effective for other domains, including the nocaps image captioning benchmark, designed to test generalization to unseen visual concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google