Using Knowledge Graphs to harvest datasets for efficient CLIP model training

要約

高品質のCLIPモデルをトレーニングするには、一般的に膨大なデータセットが必要であり、特に最大規模のCLIPモデルでさえ十分にカバーできない領域では、領域固有のモデルの開発が制限され、トレーニングコストが上昇する。このことは、CLIPモデルの学習手順をきめ細かく制御する必要がある科学研究にとって課題となる。本研究では、知識グラフで強化されたスマートなウェブ検索戦略を採用することで、ロバストなCLIPモデルを、かなり少ないデータでゼロから訓練できることを示す。具体的には、わずか10M枚の画像を用いて、生物の専門家基礎モデルを構築できることを実証する。さらに、33Mの画像と46Mのテキスト記述からなるデータセットであるEntityNetを紹介する。

要約(オリジナル)

Training high-quality CLIP models typically requires enormous datasets, which limits the development of domain-specific models — especially in areas that even the largest CLIP models do not cover well — and drives up training costs. This poses challenges for scientific research that needs fine-grained control over the training procedure of CLIP models. In this work, we show that by employing smart web search strategies enhanced with knowledge graphs, a robust CLIP model can be trained from scratch with considerably less data. Specifically, we demonstrate that an expert foundation model for living organisms can be built using just 10M images. Moreover, we introduce EntityNet, a dataset comprising 33M images paired with 46M text descriptions, which enables the training of a generic CLIP model in significantly reduced time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL