I-Tuning: Tuning Frozen Language Models with Image for Lightweight Image Captioning

要約

画像キャプションは、画像の言語記述を生成することを目的とした従来の視覚と言語のタスクです。
最近の研究では、モデルのサイズとトレーニング データの数を拡大することに重点が置かれており、モデルのトレーニングのコストが大幅に増加しています。
これらの高コスト モデルとは異なり、少数のトレーニング可能なパラメーターを含む軽量の画像キャプション フレームワーク (I-Tuning) を導入します。
トレーニング不可能な事前トレーニング済み言語デコーダー GPT2 とビジョン エンコーダー CLIP-ViT を接続するための新しい I-Tuning 相互注意モジュールを設計します。
ほとんどのパラメーターはトレーニング中に更新する必要がないため、フレームワークは軽量で高速です。
3 つの画像キャプション ベンチマークで実施された実験結果は、私たちのフレームワークが大規模なベースライン システムと同等またはそれ以上のパフォーマンスを達成することを明らかにしています。
しかし、私たちのモデルに含まれるトレーニング可能なパラメーターは最大 10 分の 1 であり、最先端のベースラインと比較して、トレーニングに必要なデータははるかに少なくなります。

要約(オリジナル)

Image Captioning is a traditional vision-and-language task that aims to generate the language description of an image. Recent studies focus on scaling up the model size and the number of training data, which significantly increase the cost of model training. Different to these heavy-cost models, we introduce a lightweight image captioning framework (I-Tuning), which contains a small number of trainable parameters. We design a novel I-Tuning cross-attention module to connect the non-trainable pre-trained language decoder GPT2 and vision encoder CLIP-ViT. Since most parameters are not required to be updated during training, our framework is lightweight and fast. Experimental results conducted on three image captioning benchmarks reveal that our framework achieves comparable or better performance than the large-scale baseline systems. But our models contain up to 10 times fewer trainable parameters and require much fewer data for training compared with state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google