Using Knowledge Graphs to harvest datasets for efficient CLIP model training

要約

高品質のクリップモデルのトレーニングには、通常、膨大なデータセットが必要であり、特に最大のクリップモデルでさえもうまくカバーしない領域でドメイン固有のモデルの開発を制限し、トレーニングコストを押し上げます。
これは、CLIPモデルのトレーニング手順をきめんゆかされた制御を必要とする科学研究の課題をもたらします。
この作業では、知識グラフで強化されたスマートWeb検索戦略を採用することにより、かなり少ないデータで堅牢なクリップモデルをゼロからトレーニングできることを示します。
具体的には、生物の専門家の基礎モデルをわずか10mの画像を使用して構築できることを実証します。
さらに、46mのテキストの説明と組み合わせた33mの画像を含むデータセットであるEntityNetを紹介します。これにより、一般的なクリップモデルのトレーニングが大幅に短期間でトレーニングを可能にします。

要約(オリジナル)

Training high-quality CLIP models typically requires enormous datasets, which limits the development of domain-specific models — especially in areas that even the largest CLIP models do not cover well — and drives up training costs. This poses challenges for scientific research that needs fine-grained control over the training procedure of CLIP models. In this work, we show that by employing smart web search strategies enhanced with knowledge graphs, a robust CLIP model can be trained from scratch with considerably less data. Specifically, we demonstrate that an expert foundation model for living organisms can be built using just 10M images. Moreover, we introduce EntityNet, a dataset comprising 33M images paired with 46M text descriptions, which enables the training of a generic CLIP model in significantly reduced time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google