Vision-Language Dataset Distillation

要約

データセット蒸留手法は、大規模なデータセットをより小さな合成データのセットに縮小し、新しいモデルを最初から迅速にトレーニングするのに十分な情報を保持します。
ただし、データセットの蒸留に関するこれまでの研究は画像分類データセットのみに焦点を当てていたのに対し、現代の大規模データセットは主に視覚言語データセットです。
この研究では、軌道マッチングのアイデアに基づいて、最初のビジョン言語データセット抽出方法を設計します。
重要な課題は、ビジョン言語データセットには一連の離散クラスがないことです。
これを克服するために、私たちが提案する方法は、画像とテキストのペアを対照的な定式化で一緒に抽出します。
さらに、低ランク適応 (LoRA) マッチングを活用して、複雑な最新の視覚言語モデルでより効率的かつ効果的な軌道マッチングを可能にします。
既存のベースラインがないため、蒸留アプローチを 3 つの適応された視覚言語コアセット選択方法と比較します。
我々は、困難な Flickr30K および COCO 検索ベンチマークで大幅な改善を示しました。たとえば、Flickr30K では、トレーニング用に 1000 個の画像とテキストのペアを選択する最良のコアセット選択方法では、画像とテキストの検索精度 (つまり、recall@1) がわずか 5.6% しか達成されません。
;
対照的に、私たちのデータセットの蒸留では、わずか 100 個のトレーニング ペアでそのほぼ 2 倍の 9.9% となり、1 桁少なくなります。

要約(オリジナル)

Dataset distillation methods reduce large-scale datasets to smaller sets of synthetic data, preserving sufficient information to quickly train a new model from scratch. However, prior work on dataset distillation has focused exclusively on image classification datasets, whereas modern large-scale datasets are primarily vision-language datasets. In this work, we design the first vision-language dataset distillation method, building on the idea of trajectory matching. A key challenge is that vision-language datasets do not have a set of discrete classes. To overcome this, our proposed method jointly distills image-text pairs in a contrastive formulation. Further, we leverage Low-Rank Adaptation (LoRA) matching to enable more efficient and effective trajectory matching in complex modern vision-language models. Since there are no existing baselines, we compare our distillation approach with three adapted vision-language coreset selection methods. We demonstrate significant improvements on the challenging Flickr30K and COCO retrieval benchmarks: for example, on Flickr30K, the best coreset selection method selecting 1000 image-text pairs for training achieves only 5.6% image-to-text retrieval accuracy (i.e., recall@1); in contrast, our dataset distillation almost doubles that to 9.9% with just 100 training pairs, an order of magnitude fewer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google