Granite Embedding Models

要約

英語と多言語の両方の機能を備えた、密な網状およびまばらな検索アーキテクチャにまたがる、検索タスク用に設計されたエンコーダーベースの埋め込みモデルのファミリーである花崗岩の埋め込みモデルを紹介します。
このレポートは、これらの非常に効果的な12層埋め込みモデルのトレーニングの技術的な詳細と、効率的な6層蒸留モデルを提供します。
広範な評価によると、検索指向の事前トレーニング、対照的な微調整、知識の蒸留、モデルのマージなどのテクニックで開発されたモデルは、内部IBMの回収と検索の両方で同様のサイズの公的に利用可能なモデルを大幅に上回り、広く使用されている情報のベンチマークで広く使用されている情報をトレーニングしながら、広く使用されています。
すべての花崗岩の埋め込みモデルをApache 2.0ライセンスで公開し、https：//huggingface.co/collections/ibm-graniteで研究と商業用の両方を可能にします。

要約(オリジナル)

We introduce the Granite Embedding models, a family of encoder-based embedding models designed for retrieval tasks, spanning dense-retrieval and sparse retrieval architectures, with both English and Multilingual capabilities. This report provides the technical details of training these highly effective 12 layer embedding models, along with their efficient 6 layer distilled counterparts. Extensive evaluations show that the models, developed with techniques like retrieval oriented pretraining, contrastive finetuning, knowledge distillation, and model merging significantly outperform publicly available models of similar sizes on both internal IBM retrieval and search tasks, and have equivalent performance on widely used information retrieval benchmarks, while being trained on high-quality data suitable for enterprise use. We publicly release all our Granite Embedding models under the Apache 2.0 license, allowing both research and commercial use at https://huggingface.co/collections/ibm-granite.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google