Jina Embeddings: A Novel Set of High-Performance Sentence Embedding Models

要約

Jina Embeddings は、さまざまなテキスト入力を数値表現に変換することに優れた高性能の文埋め込みモデルのセットを構成し、それによってテキストの意味的本質を捉えます。
このモデルは、高密度検索や意味論的なテキストの類似性などのアプリケーションに優れています。
このペーパーでは、高品質のペアごとおよびトリプレット データセットの作成から始まる、Jina Embeddings の開発について詳しく説明します。
データセットの準備におけるデータ クリーニングの重要な役割を強調し、モデル トレーニング プロセスについての深い洞察を提供し、Massive Textual Embedding Benchmark (MTEB) を使用した包括的なパフォーマンス評価で締めくくります。
モデルの否定に対する認識を高めるために、否定されたステートメントと否定されていないステートメントの新しいトレーニングおよび評価データセットを構築し、コミュニティに公開しました。

要約(オリジナル)

Jina Embeddings constitutes a set of high-performance sentence embedding models adept at translating various textual inputs into numerical representations, thereby capturing the semantic essence of the text. The models excel in applications such as dense retrieval and semantic textual similarity. This paper details the development of Jina Embeddings, starting with the creation of high-quality pairwise and triplet datasets. It underlines the crucial role of data cleaning in dataset preparation, gives in-depth insights into the model training process, and concludes with a comprehensive performance evaluation using the Massive Textual Embedding Benchmark (MTEB). To increase the model’s awareness of negations, we constructed a novel training and evaluation dataset of negated and non-negated statements, which we make publicly available to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google