Filter & Align: Curating Image-Text Data with Human Knowledge

要約

画像とテキストのペアの利用可能性が高まったことにより、視覚言語基盤モデルの急速な進歩が大きく促進されました。
ただし、これらのデータセットの規模が膨大であるため、必然的にデータ品質に大きなばらつきが生じ、モデルのパフォーマンスに悪影響を及ぼす可能性があります。
これは、トレーニング効率を向上させるだけでなく、全体的なデータ品質を向上させるというデータ フィルタリングの重要な役割を強調しています。
既存の方法は通常、事前トレーニングされたモデルから導出される CLIP スコアや BLIP スコアなどのメトリクスに依存します。
ただし、これらのモデルは多くの場合、厳選されていないノイズの多いデータセットでトレーニングされるため、フィルター処理されたデータセット内でエラーや不整合が永続する可能性があります。
私たちは、画像とテキストの位置合わせに関する人間の知識を組み込んで、Web クロールされた画像とテキストのデータセットの膨大なコーパスをコンパクトで高品質な形式にフィルタリングするための新しいアルゴリズムを紹介します。
画像とテキストの配置に関する人間の好みを体系的に把握するために、各画像がさまざまなソースからの複数のキャプションに関連付けられている多様な画像とテキストのデータセットを収集し、ラベラーによる配置評価を批判的に導くための主観的および客観的な両方の包括的な基準を確立します。
。
さらに、これらの人間の好みのアノテーションに基づいて報酬モデルをトレーニングし、画像とテキストの配置に関する人間の微妙な理解を内面化します。
したがって、結果として得られる報酬モデルは、画像とテキストのペアをフィルタリングする人間のような審判として機能できます。
広範な実験により、画像テキスト データセットを最大 90% まで圧縮しながらモデルのパフォーマンスを維持、場合によっては改善できることが実証されました。
印象的な例としては、総トレーニング サンプルを 1 億 3,000 万からわずか 1,550 万に積極的に削減することにより、BLIP-B/16 モデルはフルサイズと比較して、検索タスクで 2.9%、キャプション タスクで 11.5% の平均改善を一貫して示しています。
データセットの対応物。

要約(オリジナル)

The increasing availability of image-text pairs has largely fueled the rapid advancement in vision-language foundation models. However, the vast scale of these datasets inevitably introduces significant variability in data quality, which can adversely affect the model performance. This highlights the critical role of data filtering, not only to enhance training efficiency but also to improve overall data quality. Existing methods typically rely on metrics such as CLIP Score and BLIP Score, which are derived from pre-trained models. However, these models are often trained on uncurated, noisy datasets, which can perpetuate errors and misalignments in the filtered dataset. We present a novel algorithm that incorporates human knowledge on image-text alignment to guide filtering vast corpus of web-crawled image-text datasets into a compact and high-quality form. To systemically capture human preferences on image-text alignments, we collect a diverse image-text dataset where each image is associated with multiple captions from various sources, and establish a comprehensive set of both subjective and objective criteria for critically guiding the alignment assessment from labelers. Additionally, we train a reward model on these human-preference annotations to internalize the nuanced human understanding of image-text alignment. The resulting reward model thus can act as a human-like referee to filter image-text pairs. Extensive experiments demonstrate that we can maintain, sometimes even improve, model performance while compressing the image-text datasets up to ~90%. An impressive example is that, by aggressively reducing the total training sample from 130M to only 15.5M, our BLIP-B/16 models consistently show an average improvement of 2.9% on retrieval tasks and 11.5% on captioning tasks compared to full-size-dataset counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google